微光实验室 · 博客归档
博客 第28页
记录技术探索与工程思考，共 655 篇文章。
大数据-53：Kafka 组件详解——Producer、Broker、Consumer 全流程
深入拆解 Kafka 三大核心组件的工作原理：Producer 分区策略与 ACK 机制、Broker 的 Leader/Follower 架构、Consumer Group 的分区分配与偏移量管理。
大数据-54：Kafka 安装部署——从 ZooKeeper 到 KRaft 的架构演进
介绍 Kafka 2.x 与 3.x 的核心差异，详细讲解集群安装步骤、ZooKeeper 配置、Broker 参数设置，以及 KRaft 模式如何彻底替代 ZooKeeper 依赖。
大数据-133 ClickHouse 概念与基础｜为什么快？列式 + 向量化 + MergeTree 对比
面向高并发、低延迟 OLAP 场景，本文从工程视角讲清 ClickHouse 的底层优势（列式+压缩+向量化、MergeTree 家族）、适用与不适用边界、数据建模基本法以及近似统计的性能-精度权衡。
大数据-134 ClickHouse 单机+集群节点落地手册 | 安装配置 | systemd 管理 / config.d
官方推荐的 keyring + signed-by 在 Ubuntu 安装 ClickHouse，并用 systemd 启动与自检；提供单机最小示例（建库建表/插入/查询）。集群部分给出 ClickHouse Keeper 三节点最小配置与...
大数据-131 Flink CEP 实战 24 小时≥5 次交易 & 10 分钟未支付检测 案例附代码
Flink CEP（Complex Event Processing）复杂事件处理机制，结合实际案例深入讲解其在实时流式计算中的应用原理与实战实现。通过定义事件模式（Pattern）、模式流（PatternStream）及 select 函...
大数据-132 Flink SQL 实战入门 | 3 分钟跑通 Table API + SQL 含 toChangelogStream 新写法
工程视角快速跑通 Flink SQL：提供现代依赖（不再使用 blink 规划器）、最小可运行示例（MRE）、Table API 与 SQL 互操作；输出使用 toChangelogStream 验证变更流。
大数据-129 Flink CEP详解：实时流式复杂事件处理（Complex Event Processing）全解析
Flink中专用于复杂事件流实时分析的核心组件，提供完整的模式匹配框架，支持基于事件时间（Event Time）的乱序处理与高性能NFA（非确定性有限自动机）匹配机制。它允许开发者通过Pattern API定义复杂的事件序列规则，如严格连续...
大数据-130 Flink CEP 详解 - 捕获超时事件提取全解析：从原理到完整实战代码教程 恶意登录案例实现
Flink CEP 超时事件提取是流处理中的关键环节，用于在模式匹配过程中捕获超过窗口时间（within）的部分匹配事件。通过 select()、flatSelect() 和 process() API，开发者可以同时处理成功匹配和超时事件...
大数据-51：Redis 高可用架构——主从复制与哨兵机制
深入解析 Redis 高可用实现原理，涵盖主从复制同步机制、哨兵模式自动故障转移流程，以及分布式锁设计思路，并附 Docker 部署示例。
大数据-52：Kafka 架构解析——高吞吐分布式消息系统设计
系统介绍 Kafka 的核心架构设计，包括 Topic/Partition/Replica 模型、ISR 机制、零拷贝优化、消息格式与典型应用场景，理解 Kafka 实现百万级 TPS 的工程原理。
大数据-127 Flink StateBackend详解：Memory、Fs、RocksDB 与 Operator State
ManagedOperatorState用于管理无键（non-keyed）状态，实现算子在故障恢复或扩缩容时的状态一致性。开发者可通过实现CheckpointedFunction接口来使用ManagedOperatorState...
大数据-128 Flink 并行度详解：从概念到最佳实践，一文读懂任务并行执行机制
Flink 中，并行度（Parallelism）是衡量任务并发处理能力的核心参数，决定了每个算子（Operator）可以同时运行的任务数量。合理设置并行度能显著提升作业的吞吐量与资源利用率。Flink 支持多层级的并行度配置，包括全局...
大数据-125 Flink 实时流计算中的动态逻辑更新：广播状态（Broadcast State）全解析
广播状态（Broadcast State）是 Apache Flink 中支持流式应用动态更新逻辑的重要机制，广泛应用于实时风控、用户行为分析、动态规则评估等场景。它允许低吞吐量的配置流（如规则、模型、参数）广播至所有并行任务实例...
大数据-126 Flink一文搞懂有状态计算：State Backend 工作原理与性能差异详解 核心原理与作用
状态存储（State Backend）是其实现有状态流计算的核心机制，决定了数据的可靠性、性能与容错性。Flink 提供三种内置存储后端：MemoryStateBackend、FsStateBackend 与 RocksDBStateBac...
大数据-123 Flink 并行度设置优先级讲解 原理、配置与最佳实践 从Kafka到HDFS的案例分析
一个Flink程序由多个Operator组成（Source、Transformation、Sink）。一个Operator由多个并行的Task（线程）来执行，一个Operator的并行Task（线程）数目就被称为该Operator（任务）并...
大数据-124 Flink State：Keyed State、Operator State、KeyGroups 详解
根据是否依赖中间状态，Flink 计算可分为有状态和无状态两种类型：无状态计算（Stateless Computation）如 Map、Filter、FlatMap 等操作，每条数据独立处理，执行效率高、可线性扩展；
大数据-49 Redis 缓存五大问题：穿透、击穿、雪崩、热 Key、大 Key 全解
系统梳理 Redis 在高并发场景下最常见的五类缓存问题：缓存穿透、缓存击穿、缓存雪崩、热 Key 和大 Key，分析每种问题的成因并给出可落地的解决方案。
大数据-50 Redis Java Lua 实现乐观锁、WATCH 与 SETNX 分布式锁
Redis 乐观锁实战：WATCH/MULTI/EXEC 机制详解，Lua 脚本实现原子操作，SETNX+EXPIRE 分布式锁从基础到 Redisson，Java 代码完整示例。
大数据-121 Flink 时间语义详解：EventTime、ProcessingTime、IngestionTime
Watermark 是一个特殊的标志，它用于告诉 Flink 数据流中事件的进展情况。简单来说，Watermark 是 Flink 中估计的"当前时间"，表示所有早于该时间戳的事件都已经到达。Flink 认为当前时间在 Watermark...
大数据-122 Flink Watermark 全面解析：事件时间窗口、乱序处理与迟到数据完整指南
Flink 的 Watermark（水印）机制 是事件时间窗口计算中最核心的概念之一，用于处理 乱序事件（Out-of-Order Events） 并确保窗口准确触发。它通过定义系统认为"之前事件已全部到达"的时间点，来决定窗口计算的时机。