博客
记录技术探索与思考 · 共 655 篇
IoC容器源码分析：Bean实例化与初始化流程
通过断点调试深入分析Spring IoC容器的初始化流程，详细讲解Bean的创建时机、AbstractApplicationContext.refresh方法核心逻辑。
大数据-258 离线数仓 - Griffin架构 配置安装 Livy 架构设计 解压配置 Hadoop Hive
Livy 是一个用于 Apache Spark 的 REST 接口，旨在简化 Spark 作业的提交和管理，特别是在大数据处理场景中。它的主要功能是通过 REST API 与 Spark 集群进行交互，允许用户提交作业、执行代码片段并查询作业的状态和结果，而不需要直接与 Spark 的底层架构交互。简化 Spark 作业提交：用户可以通过 HTTP 请求向 Livy 发送 Spark 作业，...
IoC容器体系：Bean生命周期与PostProcessor详解
详细讲解Spring IoC容器体系结构，Bean生命周期全过程，以及BeanPostProcessor和BeanFactoryPostProcessor的执行时机。
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
Apache Griffin是一个开源的大数据质量解决方案，它支持批处理和流处理两种模式的数据质量检测方式。可以从不同的维度（如离线任务执行完毕后检查源端和目标端的数据质量是否一致，源表数据值空值等）度量数据资产，从而提升数据的准确度、可信度。数据质量监控通常结合自动化工具和人工审查，利用数据质量管理平台进行实时监控，生成报告并触发警报，以便及时纠正问题。
FactoryBean和BeanFactory详解与BeanPostProcessor后置处理器
深入讲解Spring中的FactoryBean和BeanFactory的区别，Bean的延迟加载机制，以及BeanPostProcessor和BeanFactoryPostProcessor后置处理器的使用。
大数据-100 Flink CEP：复杂事件处理与模式匹配
Flink CEP 复杂事件处理详解：模式序列、个体模式、组合模式、匹配跳过策略与实战案例。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
大数据-256 离线数仓 - Atlas 数据仓库元数据管理 正式安装 启动服务访问 Hive血缘关系导入
元数据（MetaData）狭义的解释是用来描述数据的数据。广义来看，除了业务逻辑直接读写处理的那些业务数据，所有其他用来维持整个系统运转所需的信息、数据都可以叫做元数据，如数据库中表的Schema信息，任务的血缘关系，用户和脚本、任务的权限映射关系信息等。管理元数据的目的，是为了让用户能够更高效的使用数据，也是为了平台管理人员能更加有效的做好数据的维护管理工作。
IoC基础：纯注解方式与SpringConfig配置
详细介绍Spring纯注解配置方式，包括@Configuration、@ComponentScan、@Bean、@PropertySource等注解的使用，以及在Web环境下的配置。
大数据-255 离线数仓 - Atlas 数据仓库元数据管理 数据血缘关系 元数据
Atlas是Hadoop平台元数据框架：Atlas是一组可扩展的核心基础治理服务，使企业能够有效，高效的满足Hadoop中合规性要求，并能与整个企业数据生态系统集成Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立数据资产的目录，对这些资产进行分类和治理，并为IT团队、数据分析团队提供围绕这些数据资产的协作功能。
IoC基础：XML与注解结合方式配置
讲解Spring中XML与注解结合的配置模式，包括注解与XML标签的对应关系，@Autowired、@Qualifier、@Resource等依赖注入注解的使用。
大数据-254 离线数仓 - Airflow 任务调度 核心交易调度任务集成
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系，支持任务的调度和监控，适合处理复杂的大数据任务。
IoC基础：纯XML启动与Bean、DI注入详解
详细讲解Spring纯XML模式下的IoC配置，包括Bean的三种创建方式、生命周期、作用域，以及构造函数注入和Set方法注入的XML配置。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
大数据-253 离线数仓 - Airflow 任务调度 核心概念与实际案例测试 Py脚本编写
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系，支持任务的调度和监控，适合处理复杂的大数据任务。
大数据-98 Flink 内存管理：Network Buffer、状态后端与 GC 调优
Flink 内存模型详解：Network Buffer Pool、Task Heap、State Backend 内存分配，GC 调优与反压处理。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
大数据-99 Flink 并行度：算子链、Slot 与资源调度
Flink 并行度详解：算子链（Operator Chaining）、Slot 分配策略、并行度设置与资源调度原理。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
IoC基础：启动IoC容器的方式汇总
详细介绍Spring IoC容器的启动方式，包括Java环境下的ClassPathXmlApplicationContext、FileSystemXmlApplicationContext，以及Web环境下的XML和配置类方式。
大数据-252 离线数仓 - Airflow 任务调度 Crontab简介 任务集成部署 入门案例
Linux系统是由cron（crond）系统服务来控制的，Linux系统上原本那就有非常多的计划性工作，因此这个系统服务是默认启动的。Linux系统也提供了Linux用户控制计划任务的命令：crontab命令。作用：任务（命令）定时调度、定时备份等。
实现简易IoC-04：手动实现AOP与事务控制
在业务基础上手动实现AOP面向切面编程，通过JDK动态代理和CGLIB实现事务管理器，完成事务的自动提交与回滚。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。
大数据-251 离线数仓 - Airflow 任务调度系统 安装部署测试
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系，支持任务的调度和监控，适合处理复杂的大数据任务。airflow离线安装部署
实现简易IoC-03：手动实现IoC容器
手把手教你手动实现IoC容器，通过BeanFactory和XML配置文件管理Bean依赖，完成依赖注入的核心实现。本文深入分析原理与实践应用，帮助读者全面理解核心技术要点。