微光实验室 · 博客归档
博客 第18页
记录技术探索与工程思考，共 731 篇文章。
FactoryBean和BeanFactory详解与BeanPostProcessor后置处理器
深入讲解Spring中的FactoryBean和BeanFactory的区别，Bean的延迟加载机制，以及BeanPostProcessor和BeanFactoryPostProcessor后置处理器的使用。
大数据-100 Flink CEP：复杂事件处理与模式匹配
Flink CEP 复杂事件处理详解：模式序列、个体模式、组合模式、匹配跳过策略与实战案例。
大数据-256 离线数仓 - Atlas 数据仓库元数据管理 正式安装 启动服务访问 Hive血缘关系导入
元数据（MetaData）狭义的解释是用来描述数据的数据。广义来看，除了业务逻辑直接读写处理的那些业务数据，所有其他用来维持整个系统运转所需的信息、数据都可以叫做元数据，如数据库中表的Schema信息，任务的血缘关系，用户和脚本...
IoC基础：纯注解方式与SpringConfig配置
详细介绍Spring纯注解配置方式，包括@Configuration、@ComponentScan、@Bean、@PropertySource等注解的使用，以及在Web环境下的配置。
大数据-255 离线数仓 - Atlas 数据仓库元数据管理 数据血缘关系 元数据
Atlas是Hadoop平台元数据框架：Atlas是一组可扩展的核心基础治理服务，使企业能够有效，高效的满足Hadoop中合规性要求，并能与整个企业数据生态系统集成Apache Atlas为组织提供了开放的元数据管理和治理功能...
IoC基础：XML与注解结合方式配置
讲解Spring中XML与注解结合的配置模式，包括注解与XML标签的对应关系，@Autowired、@Qualifier、@Resource等依赖注入注解的使用。
大数据-254 离线数仓 - Airflow 任务调度 核心交易调度任务集成
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系...
IoC基础：纯XML启动与Bean、DI注入详解
详细讲解Spring纯XML模式下的IoC配置，包括Bean的三种创建方式、生命周期、作用域，以及构造函数注入和Set方法注入的XML配置。
大数据-253 离线数仓 - Airflow 任务调度 核心概念与实际案例测试 Py脚本编写
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系...
大数据-98 Flink 内存管理：Network Buffer、状态后端与 GC 调优
Flink 内存模型详解：Network Buffer Pool、Task Heap、State Backend 内存分配，GC 调优与反压处理。
大数据-99 Flink 并行度：算子链、Slot 与资源调度
Flink 并行度详解：算子链（Operator Chaining）、Slot 分配策略、并行度设置与资源调度原理。
IoC基础：启动IoC容器的方式汇总
详细介绍Spring IoC容器的启动方式，包括Java环境下的ClassPathXmlApplicationContext、FileSystemXmlApplicationContext，以及Web环境下的XML和配置类方式。
大数据-252 离线数仓 - Airflow 任务调度 Crontab简介 任务集成部署 入门案例
Linux系统是由cron（crond）系统服务来控制的，Linux系统上原本那就有非常多的计划性工作，因此这个系统服务是默认启动的。Linux系统也提供了Linux用户控制计划任务的命令：crontab命令。作用：
实现简易IoC-04：手动实现AOP与事务控制
在业务基础上手动实现AOP面向切面编程，通过JDK动态代理和CGLIB实现事务管理器，完成事务的自动提交与回滚。
大数据-251 离线数仓 - Airflow 任务调度系统 安装部署测试
Apache Airflow 是一个开源的任务调度和工作流管理工具，用于编排复杂的数据处理任务。最初由 Airbnb 开发，于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式定义任务及其依赖关系...
实现简易IoC-03：手动实现IoC容器
手把手教你手动实现IoC容器，通过BeanFactory和XML配置文件管理Bean依赖，完成依赖注入的核心实现。
FastDFS 架构实战：轻量 Tracker、对等存储与上传/同步原理全解
FastDFS 架构设计理念：轻量级 Tracker、对等存储结构、文件上传与同步原理。
大数据-250 离线数仓 - ADS层 与 Airflow 任务调度系统
Apache Airflow 是一个开源的任务调度和工作流管理平台，主要用于开发、调试和监控数据管道。Airflow 通过使用 Python 脚本定义任务和依赖关系，帮助用户以编程的方式构建动态的、可视化的工作流。
大数据-96 Flink 广播状态：Broadcast State 实战与规则更新
Flink 广播状态详解：BroadcastState 原理、动态规则更新、状态分区与内存管理，通过案例演示广播流与非广播流 join。
大数据-97 Flink State Backend：状态存储与性能优化
Flink State Backend 详解：HashMapStateBackend、EmbeddedRocksDBStateBackend 选型，内存配置与性能调优。