微光实验室 · 博客归档
博客 第35页
记录技术探索与工程思考，共 801 篇文章。
大数据-137 ClickHouse MergeTree 实战指南｜分区、稀疏索引与合并机制 | 存储结构 | 一级索引 | 跳数索引
ClickHouse MergeTree 的关键机制：批量写入形成 part、后台合并（Compact/Wide 两种 part 形态）、ORDER BY 即稀疏主索引、indexgranularity 标记密度与 primary.idx...
大数据-138 ClickHouse MergeTree 实战详解｜分区裁剪 × 稀疏主键索引 × marks 标记 × 压缩
ClickHouse MergeTree 的存储与查询路径：列式文件（*.bin）、稀疏主键索引（primary.idx）、标记文件（.mrk/.mrk2）与 index_granularity 如何协同，实现分区裁剪与跳读...
大数据-55：Kafka 实战操作——Shell 管理命令与 Java 客户端示例
覆盖 Kafka 日常运维的 Shell 命令（主题管理、消息收发）与 Java 客户端编程（Producer/Consumer 完整代码），包含关键配置参数说明和 ConsumerRebalanceListener 使用。
大数据-56 Spring Boot 整合 Kafka 实现分布式消息收发
详解如何在 Spring Boot 项目中集成 Kafka，包括依赖配置、KafkaTemplate 同步/异步发送消息、@KafkaListener 消费消息的完整实践。
大数据-135 ClickHouse 集群连通性自检 + 数据类型避坑实战｜10 分钟跑通 ON CLUSTER
三节点（h121/122/123）为例，先完成集群连通性自检：system.clusters 校验 → ON CLUSTER 创建 ReplicatedMergeTree/Distributed → 分布式写读与迷你压测，确保复制与路由正常
大数据-136 ClickHouse 集群 表引擎详解 选型实战：TinyLog/Log/StripeLog/Memory/Merge
梳理 ClickHouse 表引擎：TinyLog、Log、StripeLog、Memory、Merge 的原理、适用与坑点，并给出可复制的最小可运行示例与并发/文件核验脚本。通过选型决策表与 Do&Don't，帮你在小表、一次性写入...
大数据-53：Kafka 组件详解——Producer、Broker、Consumer 全流程
深入拆解 Kafka 三大核心组件的工作原理：Producer 分区策略与 ACK 机制、Broker 的 Leader/Follower 架构、Consumer Group 的分区分配与偏移量管理。
大数据-54：Kafka 安装部署——从 ZooKeeper 到 KRaft 的架构演进
介绍 Kafka 2.x 与 3.x 的核心差异，详细讲解集群安装步骤、ZooKeeper 配置、Broker 参数设置，以及 KRaft 模式如何彻底替代 ZooKeeper 依赖。
大数据-133 ClickHouse 概念与基础｜为什么快？列式 + 向量化 + MergeTree 对比
面向高并发、低延迟 OLAP 场景，本文从工程视角讲清 ClickHouse 的底层优势（列式+压缩+向量化、MergeTree 家族）、适用与不适用边界、数据建模基本法以及近似统计的性能-精度权衡。
大数据-134 ClickHouse 单机+集群节点落地手册 | 安装配置 | systemd 管理 / config.d
官方推荐的 keyring + signed-by 在 Ubuntu 安装 ClickHouse，并用 systemd 启动与自检；提供单机最小示例（建库建表/插入/查询）。集群部分给出 ClickHouse Keeper 三节点最小配置与...
大数据-131 Flink CEP 实战 24 小时≥5 次交易 & 10 分钟未支付检测 案例附代码
Flink CEP（Complex Event Processing）复杂事件处理机制，结合实际案例深入讲解其在实时流式计算中的应用原理与实战实现。通过定义事件模式（Pattern）、模式流（PatternStream）及 select 函...
大数据-132 Flink SQL 实战入门 | 3 分钟跑通 Table API + SQL 含 toChangelogStream 新写法
工程视角快速跑通 Flink SQL：提供现代依赖（不再使用 blink 规划器）、最小可运行示例（MRE）、Table API 与 SQL 互操作；输出使用 toChangelogStream 验证变更流。
大数据-129 Flink CEP详解：实时流式复杂事件处理（Complex Event Processing）全解析
Flink中专用于复杂事件流实时分析的核心组件，提供完整的模式匹配框架，支持基于事件时间（Event Time）的乱序处理与高性能NFA（非确定性有限自动机）匹配机制。它允许开发者通过Pattern API定义复杂的事件序列规则，如严格连续...
大数据-130 Flink CEP 详解 - 捕获超时事件提取全解析：从原理到完整实战代码教程 恶意登录案例实现
Flink CEP 超时事件提取是流处理中的关键环节，用于在模式匹配过程中捕获超过窗口时间（within）的部分匹配事件。通过 select()、flatSelect() 和 process() API，开发者可以同时处理成功匹配和超时事件...
大数据-51：Redis 高可用架构——主从复制与哨兵机制
深入解析 Redis 高可用实现原理，涵盖主从复制同步机制、哨兵模式自动故障转移流程，以及分布式锁设计思路，并附 Docker 部署示例。
大数据-52：Kafka 架构解析——高吞吐分布式消息系统设计
系统介绍 Kafka 的核心架构设计，包括 Topic/Partition/Replica 模型、ISR 机制、零拷贝优化、消息格式与典型应用场景，理解 Kafka 实现百万级 TPS 的工程原理。
大数据-127 Flink StateBackend详解：Memory、Fs、RocksDB 与 Operator State
ManagedOperatorState用于管理无键（non-keyed）状态，实现算子在故障恢复或扩缩容时的状态一致性。开发者可通过实现CheckpointedFunction接口来使用ManagedOperatorState...
大数据-128 Flink 并行度详解：从概念到最佳实践，一文读懂任务并行执行机制
Flink 中，并行度（Parallelism）是衡量任务并发处理能力的核心参数，决定了每个算子（Operator）可以同时运行的任务数量。合理设置并行度能显著提升作业的吞吐量与资源利用率。Flink 支持多层级的并行度配置，包括全局...
大数据-125 Flink 实时流计算中的动态逻辑更新：广播状态（Broadcast State）全解析
广播状态（Broadcast State）是 Apache Flink 中支持流式应用动态更新逻辑的重要机制，广泛应用于实时风控、用户行为分析、动态规则评估等场景。它允许低吞吐量的配置流（如规则、模型、参数）广播至所有并行任务实例...
大数据-126 Flink一文搞懂有状态计算：State Backend 工作原理与性能差异详解 核心原理与作用
状态存储（State Backend）是其实现有状态流计算的核心机制，决定了数据的可靠性、性能与容错性。Flink 提供三种内置存储后端：MemoryStateBackend、FsStateBackend 与 RocksDBStateBac...