微光实验室 · 博客归档
博客 第38页
记录技术探索与工程思考，共 801 篇文章。
大数据-31 ZooKeeper Leader 选举与 ZAB 协议原理
深入解析 ZooKeeper 的 Leader 选举机制与 ZAB 原子广播协议，涵盖初始选举流程、消息广播三阶段、故障恢复策略及生产部署建议。
大数据-32 ZooKeeper 分布式锁 Java 实现详解
基于 ZooKeeper 临时顺序节点实现分布式锁，附完整 Java 代码，涵盖锁竞争、前驱节点监听、CountDownLatch 同步和递归重试的完整流程。
大数据-29 ZooKeeper Watcher 原理与命令行实践指南
从客户端、WatcherManager 到 ZooKeeper 服务端，完整解析 Watcher 的注册-触发-通知流程，并通过 zkCli 命令行实操演示节点的增删查改与监听。
大数据-30 ZooKeeper Java API 实战：节点增删改查与监听
使用 ZkClient 库通过 Java 代码操作 ZooKeeper，实现 Session 建立、持久节点增删、子节点变更监听与数据变更监听的完整实战示例。
大数据-27 ZooKeeper 集群配置详解与启动验证
深入解析 zoo.cfg 核心参数含义，讲解 myid 文件配置规范，演示 3 节点集群启动流程与 Leader 选举结果验证。
大数据-28 ZooKeeper ZNode 数据结构与 Watcher 监听机制详解
深入解析 ZooKeeper 的 ZNode 四种节点类型、ZXID 事务 ID 结构，以及 Watcher 一次性触发的监听机制原理与实践。
大数据-25 Sqoop 增量导入与 CDC 变化数据捕获原理
介绍 Sqoop 的 --incremental append 增量导入机制，并深入讲解 CDC（变化数据捕获）的核心概念、捕获方式对比及 Flink CDC、Debezium 等现代方案选型。
大数据-26 ZooKeeper 分布式协调框架简介与集群部署
介绍 ZooKeeper 的核心概念、Leader/Follower/Observer 角色分工、ZAB 协议原理，并演示 3 节点集群的安装与配置过程。
大数据-23 Sqoop 部分导入：--query、--columns、--where 三种过滤方式
详解 Sqoop 从 MySQL 按条件导入部分数据到 HDFS 的三种方式：自定义查询、指定列、WHERE 条件过滤，并说明各自的适用场景与注意事项。
大数据-24 Sqoop 与 Hive 集成：MySQL ↔ Hive 双向数据迁移
演示使用 Sqoop 将 MySQL 数据直接导入 Hive 表，以及从 Hive 导出数据回 MySQL，涵盖 --hive-import、--create-hive-table 等关键参数的用法。
大数据-21 Sqoop 数据迁移 ETL 工具入门与安装配置
介绍 Apache Sqoop 的核心原理、使用场景及在 Hadoop 集群上的安装配置步骤，帮助快速上手 MySQL 与 HDFS/Hive 之间的批量数据迁移。
大数据-22 Sqoop 实战：MySQL 全量数据导入 HDFS
通过完整示例演示使用 Sqoop 将 MySQL 表数据全量导入 HDFS，涵盖核心参数说明、MapReduce 并行机制及执行结果验证。
大数据-19 Flume 采集 Hive 日志到 HDFS
使用 Flume exec source 实时追踪 Hive 日志文件，通过 memory channel 缓冲，配置 HDFS sink 按时间分区写入，实现日志数据自动落盘 HDFS。
大数据-20 Flume 双 Sink：日志同时写入 HDFS 与本地文件
通过 Flume 复制模式（Replicating Channel Selector）和三 Agent 级联架构，实现一份日志数据同时写入 HDFS 和本地文件，满足离线分析与实时备份双重需求。
大数据-17 Apache Flume 架构与核心概念
介绍 Apache Flume 的定位、核心组件（Source、Channel、Sink）、事件模型与常见数据流拓扑，以及安装配置方法。
大数据-18 Flume 入门：NetCat Source + Memory Channel + Logger Sink
通过 Flume 最简单的 Hello World 案例，使用 netcat source 监听端口、memory channel 缓冲、logger sink 控制台输出，演示完整的 Source→Channel→Sink 数据流。
大数据-15 Hive Metastore 三种模式与远程部署
详解 Hive Metastore 的内嵌、本地、远程三种部署模式的区别，以及在三节点集群上配置高可用远程 Metastore 的完整步骤。
大数据-16 Hive HiveServer2 配置与 Beeline 远程连接
介绍 HiveServer2 的架构与作用，配置 Hadoop 代理用户和 WebHDFS，通过 Beeline 客户端实现跨节点 JDBC 远程访问 Hive。
大数据-13 Hive DDL 与 DML 操作实战
系统讲解 Hive 的 DDL（建库建表、内部表与外部表）和 DML（数据加载、插入、查询）操作，包含完整 HiveQL 示例与配置优化。
大数据-14 Hive HQL 进阶：数据导入导出与查询实战
深入讲解 Hive 的多种数据导入方式（LOAD/INSERT/外部表/Sqoop）、数据导出方法，以及聚合、过滤、排序等 HQL 查询操作的实际用法。