微光实验室 · 博客归档
博客 第14页
记录技术探索与工程思考，共 655 篇文章。
IoC容器源码分析：Bean实例化与初始化流程
通过断点调试深入分析Spring IoC容器的初始化流程，详细讲解Bean的创建时机、AbstractApplicationContext.refresh方法核心逻辑。
大数据-258 离线数仓 - Griffin架构 配置安装 Livy 架构设计 解压配置 Hadoop Hive
Livy 是一个用于 Apache Spark 的 REST 接口，旨在简化 Spark 作业的提交和管理，特别是在大数据处理场景中。它的主要功能是通过 REST API 与 Spark 集群进行交互，允许用户提交作业...
IoC容器体系：Bean生命周期与PostProcessor详解
详细讲解Spring IoC容器体系结构，Bean生命周期全过程，以及BeanPostProcessor和BeanFactoryPostProcessor的执行时机。
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
Apache Griffin是一个开源的大数据质量解决方案，它支持批处理和流处理两种模式的数据质量检测方式。可以从不同的维度（如离线任务执行完毕后检查源端和目标端的数据质量是否一致，源表数据值空值等）度量数据资产，从而提升数据的准确度...
FactoryBean和BeanFactory详解与BeanPostProcessor后置处理器
深入讲解Spring中的FactoryBean和BeanFactory的区别，Bean的延迟加载机制，以及BeanPostProcessor和BeanFactoryPostProcessor后置处理器的使用。
大数据-100 Flink CEP：复杂事件处理与模式匹配
Flink CEP 复杂事件处理详解：模式序列、个体模式、组合模式、匹配跳过策略与实战案例。
大数据-256 离线数仓 - Atlas 数据仓库元数据管理 正式安装 启动服务访问 Hive血缘关系导入
元数据（MetaData）狭义的解释是用来描述数据的数据。广义来看，除了业务逻辑直接读写处理的那些业务数据，所有其他用来维持整个系统运转所需的信息、数据都可以叫做元数据，如数据库中表的Schema信息，任务的血缘关系，用户和脚本...
IoC基础：纯注解方式与SpringConfig配置
详细介绍Spring纯注解配置方式，包括@Configuration、@ComponentScan、@Bean、@PropertySource等注解的使用，以及在Web环境下的配置。
大数据-255 离线数仓 - Atlas 数据仓库元数据管理 数据血缘关系 元数据
Atlas是Hadoop平台元数据框架：Atlas是一组可扩展的核心基础治理服务，使企业能够有效，高效的满足Hadoop中合规性要求，并能与整个企业数据生态系统集成Apache Atlas为组织提供了开放的元数据管理和治理功能...
IoC基础：XML与注解结合方式配置
讲解Spring中XML与注解结合的配置模式，包括注解与XML标签的对应关系，@Autowired、@Qualifier、@Resource等依赖注入注解的使用。
大数据-254 离线数仓 - Airflow 任务调度 核心交易调度任务集成
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系...
IoC基础：纯XML启动与Bean、DI注入详解
详细讲解Spring纯XML模式下的IoC配置，包括Bean的三种创建方式、生命周期、作用域，以及构造函数注入和Set方法注入的XML配置。
大数据-253 离线数仓 - Airflow 任务调度 核心概念与实际案例测试 Py脚本编写
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系...
大数据-98 Flink 内存管理：Network Buffer、状态后端与 GC 调优
Flink 内存模型详解：Network Buffer Pool、Task Heap、State Backend 内存分配，GC 调优与反压处理。
大数据-99 Flink 并行度：算子链、Slot 与资源调度
Flink 并行度详解：算子链（Operator Chaining）、Slot 分配策略、并行度设置与资源调度原理。
IoC基础：启动IoC容器的方式汇总
详细介绍Spring IoC容器的启动方式，包括Java环境下的ClassPathXmlApplicationContext、FileSystemXmlApplicationContext，以及Web环境下的XML和配置类方式。
大数据-252 离线数仓 - Airflow 任务调度 Crontab简介 任务集成部署 入门案例
Linux系统是由cron（crond）系统服务来控制的，Linux系统上原本那就有非常多的计划性工作，因此这个系统服务是默认启动的。Linux系统也提供了Linux用户控制计划任务的命令：crontab命令。作用：
实现简易IoC-04：手动实现AOP与事务控制
在业务基础上手动实现AOP面向切面编程，通过JDK动态代理和CGLIB实现事务管理器，完成事务的自动提交与回滚。
大数据-251 离线数仓 - Airflow 任务调度系统 安装部署测试
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系...
实现简易IoC-03：手动实现IoC容器
手把手教你手动实现IoC容器，通过BeanFactory和XML配置文件管理Bean依赖，完成依赖注入的核心实现。