微光实验室 · 博客归档
博客 第27页
记录技术探索与工程思考，共 655 篇文章。
大数据-148 Flink 写入 Kudu 实战：自定义 Sink 全流程（Flink 1.11/Kudu 1.17）
Kudu 的完整可运行示例，基于 Flink 1.11.1（Scala 2.12）/Java 11 与 kudu-client 1.17.0（2025 实测）。
大数据-59 Kafka Producer 拦截器与拦截器链机制详解
讲解 Kafka 0.10 引入的 Producer 拦截器机制，包括 onSend 和 onAcknowledgement 两个拦截点的作用、拦截器链的执行顺序与错误隔离，以及自定义拦截器的完整实现。
大数据-60 Kafka Consumer 消费流程、心跳机制与参数调优
详解 Kafka Consumer Group 的消费模型、分区分配策略、心跳保活机制，以及 session.timeout.ms、heartbeat.interval.ms、max.poll.interval.ms 等关键参数的调优实践。
大数据-146 Apache Kudu Docker 快速部署：3 Master/5 TServer 实战与踩坑速查
Apache Kudu 在 Ubuntu 22.04 云主机上的 Docker Compose 快速部署方案，覆盖 Kudu Master 与 Tablet Server 组件、KUDUMASTERS/MASTERARGS/TSERVERA...
大数据-147 Java 访问 Apache Kudu：从建表到 CRUD（含 KuduSession 刷新模式与实战）
Java 客户端（kudu-client 1.4.0）连接 Apache Kudu 多 Master（示例端口 7051/7151/7251），完成建表、插入、查询、更新、删除全流程，并对 KuduSession 刷新模式（AUTOFLUS...
大数据-144 Apache Kudu：实时写 + OLAP 的架构、性能与集成
Apache Kudu 在 2025 年的版本与生态集成：最新 Kudu 1.18.0（2025/07）上线，带来分段 LRU Block Cache 与基于 RocksDB 的元数据存储（实验特性），在保证 Raft 副本一致性的同时提升...
大数据-145 Apache Kudu 架构与实战：RowSet、分区与 Raft 全面解析
Apache Kudu 的 Master/TabletServer 架构、RowSet（MemRowSet/DiskRowSet） 写读路径、MVCC、以及 Raft 共识 在副本与故障切换中的作用；
大数据-143 ClickHouse MergeTree 分区/TTL、物化视图、ALTER 与 system.* 实战
ClickHouse 初学与运维实战，基于真实集群（h121/h122/h123）演示从连接到建库建表的完整流程，系统讲解 MergeTree 的 ORDER BY/PRIMARY KEY/PARTITION BY/TTL 关键点；
大数据-57 Kafka Producer 消息发送流程与核心参数详解
深入解析 Kafka Producer 初始化、消息拦截、序列化、分区路由、缓冲批量发送、ACK 确认等完整发送链路，并给出关键参数的调优建议。
大数据-58 Kafka 序列化机制与分区策略：自定义实现详解
深入讲解 Kafka 消息序列化原理与分区路由策略，包含自定义 Serializer 和 Partitioner 的完整代码实现，帮助掌握消息精准路由与高效传输。
大数据-141 ClickHouse 副本实战 | ReplicatedMergeTree + ZooKeeper 协调
ClickHouse 副本全链路：ZK/Keeper 准备、macros 宏配置、集群 ON CLUSTER 一致建表、写入去重与复制机制、system.* 视图健康检查、insertquorum 一致性、Distributed 跨分片查询
大数据-142 ClickHouse分片×副本×Distributed 实战 | ReplicatedMergeTree + Distributed
ClickHouse 分片×副本×Distributed 架构：基于 ReplicatedMergeTree + Distributed，在 3 分片×2 副本 集群上用 ON CLUSTER 一键建表，启用 ClickHouse Keep...
大数据-139 ClickHouse MergeTree 最佳实践：Replacing 去重、Summing 求和、分区设计与物化视图替代方案
场景：解决去重/更新与按键求和两类常见"准实时明细表"需求。 结论：ReplacingMergeTree 用于按排序键去重/按版本取最新
大数据-140 ClickHouse CollapsingMergeTree详解 外部数据源最小闭环HDFS/MySQL/Kafka
ClickHouse 外部数据源引擎的最小可行方案：ENGINE=HDFS、ENGINE=MySQL、ENGINE=Kafka 的 DDL 模板、关键参数与读写链路。示范 Kafka→Materialized View→MergeTree...
大数据-137 ClickHouse MergeTree 实战指南｜分区、稀疏索引与合并机制 | 存储结构 | 一级索引 | 跳数索引
ClickHouse MergeTree 的关键机制：批量写入形成 part、后台合并（Compact/Wide 两种 part 形态）、ORDER BY 即稀疏主索引、indexgranularity 标记密度与 primary.idx...
大数据-138 ClickHouse MergeTree 实战详解｜分区裁剪 × 稀疏主键索引 × marks 标记 × 压缩
ClickHouse MergeTree 的存储与查询路径：列式文件（*.bin）、稀疏主键索引（primary.idx）、标记文件（.mrk/.mrk2）与 index_granularity 如何协同，实现分区裁剪与跳读...
大数据-55：Kafka 实战操作——Shell 管理命令与 Java 客户端示例
覆盖 Kafka 日常运维的 Shell 命令（主题管理、消息收发）与 Java 客户端编程（Producer/Consumer 完整代码），包含关键配置参数说明和 ConsumerRebalanceListener 使用。
大数据-56 Spring Boot 整合 Kafka 实现分布式消息收发
详解如何在 Spring Boot 项目中集成 Kafka，包括依赖配置、KafkaTemplate 同步/异步发送消息、@KafkaListener 消费消息的完整实践。
大数据-135 ClickHouse 集群连通性自检 + 数据类型避坑实战｜10 分钟跑通 ON CLUSTER
三节点（h121/122/123）为例，先完成集群连通性自检：system.clusters 校验 → ON CLUSTER 创建 ReplicatedMergeTree/Distributed → 分布式写读与迷你压测，确保复制与路由正常
大数据-136 ClickHouse 集群 表引擎详解 选型实战：TinyLog/Log/StripeLog/Memory/Merge
梳理 ClickHouse 表引擎：TinyLog、Log、StripeLog、Memory、Merge 的原理、适用与坑点，并给出可复制的最小可运行示例与并发/文件核验脚本。通过选型决策表与 Do&Don't，帮你在小表、一次性写入...