微光实验室 · 博客归档
博客 第34页
记录技术探索与工程思考，共 801 篇文章。
大数据-151 Apache Druid 集群落地 [上篇] MySQL 元数据 + HDFS 深存与低配调优
Apache Druid 30.0.0 的可落地方案，覆盖 MySQL 元数据存储（mysql-connector-java 8.0.19）、HDFS 深度存储与 HDFS 上的 indexing-logs...
大数据-152 Apache Druid 集群模式 [下篇] 低内存集群实操：JVM/DirectMemory与启动脚本
三台节点上落地 Apache Druid 30.0.0 的低内存集群实践：给出 Broker/Historical/Router 的 JVM 参数与 runtime.properties 关键项，解释堆外内存与处理缓冲区的配比关系。
大数据-61 Kafka 主题、分区与消费者机制详解：从基础概念到重平衡优化
深入解析 Kafka 的 Topic、Partition、Consumer Group 核心机制，涵盖自定义反序列化、偏移量管理与重平衡优化配置，帮助构建高吞吐消息消费系统。
大数据-62 Kafka Topic 管理与运维实战：命令详解 + 副本分配策略 + Java API
全面介绍 Kafka Topic 的运维管理方法，包括 kafka-topics.sh 命令操作、副本均衡分配算法原理，以及 KafkaAdminClient Java API 的核心用法。
大数据-149 Apache Druid 实时 OLAP 架构与选型要点
Apache Druid 的实时 OLAP 实战：适合以时间为主键的事件明细、亚秒级聚合与高并发自助分析。Druid 采用列式存储与时间分区，核心组件包括 Broker、Historical、MiddleManager...
大数据-150 Apache Druid 单机部署实战：架构速览、启动清单与故障速修
Apache Druid 30.0.0，面向单机快速验证与工程落地，系统梳理 Druid 架构（Coordinator、Historical、Broker、Ingestion、Deep Storage），给出下载解压、环境变量...
大数据-148 Flink 写入 Kudu 实战：自定义 Sink 全流程（Flink 1.11/Kudu 1.17）
Kudu 的完整可运行示例，基于 Flink 1.11.1（Scala 2.12）/Java 11 与 kudu-client 1.17.0（2025 实测）。
大数据-59 Kafka Producer 拦截器与拦截器链机制详解
讲解 Kafka 0.10 引入的 Producer 拦截器机制，包括 onSend 和 onAcknowledgement 两个拦截点的作用、拦截器链的执行顺序与错误隔离，以及自定义拦截器的完整实现。
大数据-60 Kafka Consumer 消费流程、心跳机制与参数调优
详解 Kafka Consumer Group 的消费模型、分区分配策略、心跳保活机制，以及 session.timeout.ms、heartbeat.interval.ms、max.poll.interval.ms 等关键参数的调优实践。
大数据-146 Apache Kudu Docker 快速部署：3 Master/5 TServer 实战与踩坑速查
Apache Kudu 在 Ubuntu 22.04 云主机上的 Docker Compose 快速部署方案，覆盖 Kudu Master 与 Tablet Server 组件、KUDUMASTERS/MASTERARGS/TSERVERA...
大数据-147 Java 访问 Apache Kudu：从建表到 CRUD（含 KuduSession 刷新模式与实战）
Java 客户端（kudu-client 1.4.0）连接 Apache Kudu 多 Master（示例端口 7051/7151/7251），完成建表、插入、查询、更新、删除全流程，并对 KuduSession 刷新模式（AUTOFLUS...
大数据-144 Apache Kudu：实时写 + OLAP 的架构、性能与集成
Apache Kudu 在 2025 年的版本与生态集成：最新 Kudu 1.18.0（2025/07）上线，带来分段 LRU Block Cache 与基于 RocksDB 的元数据存储（实验特性），在保证 Raft 副本一致性的同时提升...
大数据-145 Apache Kudu 架构与实战：RowSet、分区与 Raft 全面解析
Apache Kudu 的 Master/TabletServer 架构、RowSet（MemRowSet/DiskRowSet） 写读路径、MVCC、以及 Raft 共识 在副本与故障切换中的作用；
大数据-143 ClickHouse MergeTree 分区/TTL、物化视图、ALTER 与 system.* 实战
ClickHouse 初学与运维实战，基于真实集群（h121/h122/h123）演示从连接到建库建表的完整流程，系统讲解 MergeTree 的 ORDER BY/PRIMARY KEY/PARTITION BY/TTL 关键点；
大数据-57 Kafka Producer 消息发送流程与核心参数详解
深入解析 Kafka Producer 初始化、消息拦截、序列化、分区路由、缓冲批量发送、ACK 确认等完整发送链路，并给出关键参数的调优建议。
大数据-58 Kafka 序列化机制与分区策略：自定义实现详解
深入讲解 Kafka 消息序列化原理与分区路由策略，包含自定义 Serializer 和 Partitioner 的完整代码实现，帮助掌握消息精准路由与高效传输。
大数据-141 ClickHouse 副本实战 | ReplicatedMergeTree + ZooKeeper 协调
ClickHouse 副本全链路：ZK/Keeper 准备、macros 宏配置、集群 ON CLUSTER 一致建表、写入去重与复制机制、system.* 视图健康检查、insertquorum 一致性、Distributed 跨分片查询
大数据-142 ClickHouse分片×副本×Distributed 实战 | ReplicatedMergeTree + Distributed
ClickHouse 分片×副本×Distributed 架构：基于 ReplicatedMergeTree + Distributed，在 3 分片×2 副本 集群上用 ON CLUSTER 一键建表，启用 ClickHouse Keep...
大数据-139 ClickHouse MergeTree 最佳实践：Replacing 去重、Summing 求和、分区设计与物化视图替代方案
场景：解决去重/更新与按键求和两类常见"准实时明细表"需求。 结论：ReplacingMergeTree 用于按排序键去重/按版本取最新
大数据-140 ClickHouse CollapsingMergeTree详解 外部数据源最小闭环HDFS/MySQL/Kafka
ClickHouse 外部数据源引擎的最小可行方案：ENGINE=HDFS、ENGINE=MySQL、ENGINE=Kafka 的 DDL 模板、关键参数与读写链路。示范 Kafka→Materialized View→MergeTree...