微光实验室 · 博客归档

博客 第34页

记录技术探索与工程思考,共 731 篇文章。

微光实验室技术博客封面:AI 工程化、Java 后端与长期写作
全部文章 Java247后端工程50微服务9AI Engineering86LLM109Big Data267Data Engineering59Kubernetes / 云原生3实时语音1机器人39长期成长1 更多标签 →
系列教程 预计阅读时间: 6 分钟 大数据与数据工程

大数据-41 Redis 高级数据类型:Bitmap、Geo 与 Stream

深入讲解 Redis 的 Bitmap 位图、Geo 地理位置(GeoHash、Z-order 曲线、Base32 编码)与 Stream 消息流三种高级数据类型,含常用命令与实战示例。

系列教程 预计阅读时间: 5 分钟 大数据与数据工程

大数据-42 Redis Pub/Sub 发布订阅:机制、弱事务与风险

详解 Redis 发布订阅模式的工作机制、三大弱事务缺陷(无持久化、无确认、无重试),以及在生产环境中的替代方案选择。

系列教程 预计阅读时间: 6 分钟 大数据与数据工程

大数据-39 Redis 源码编译安装与启动配置

在 Ubuntu 上从源码编译安装 Redis 6.2.9,配置 redis.conf 守护进程模式,启动 redis-server 并通过 redis-cli 验证连接。

系列教程 预计阅读时间: 9 分钟 大数据与数据工程

大数据-40 Redis 五大数据类型命令详解与实战

全面讲解 Redis 的 String、List、Set、Sorted Set、Hash 五大数据类型的常用命令、底层特性与典型使用场景,附完整命令示例。

系列教程 预计阅读时间: 11 分钟 大数据与数据工程

大数据-37 HBase Java API 增删改查完整代码

使用 HBase Java Client API 实现建表、插入、删除、Get 查询、全表扫描与范围扫描,附完整 Maven 依赖和可运行代码示例。

系列教程 预计阅读时间: 5 分钟 大数据与数据工程

大数据-38 Redis 分布式缓存介绍与缓存读写模式详解

介绍 Redis 的核心特性与五大数据类型,深入讲解旁路缓存、穿透模式、Write Behind 三种缓存读写模式的原理与适用场景。

系列教程 预计阅读时间: 6 分钟 大数据与数据工程

大数据-35 HBase 集群模式:3 节点集群配置与启动

基于上一篇单节点配置,将 HBase 分发到 3 个节点组成生产集群,介绍配置同步、集群启动、Web UI 验证及 HBase Shell 基本操作。

系列教程 预计阅读时间: 5 分钟 大数据与数据工程

大数据-36 HBase 增删改查与列族设计详解

深入讲解 HBase 列族设计原则、Shell 操作实战,涵盖建表、插入、查询、更新、删除完整流程,附生产级列族配置示例。

系列教程 预计阅读时间: 7 分钟 大数据与数据工程

大数据-33 HBase 整体架构:HMaster、HRegionServer 与数据模型

全面解析 HBase 分布式数据库的整体架构,包括 ZooKeeper 协调、HMaster 管理节点、HRegionServer 数据节点、Region 存储单元及四维数据模型,适合大数据架构选型参考。

系列教程 预计阅读时间: 7 分钟 大数据与数据工程

大数据-34 HBase 单节点配置:hbase-env 与 hbase-site.xml 详解

手把手配置 HBase 单节点环境,详解 hbase-env.sh、hbase-site.xml 关键参数,完成与 Hadoop HDFS 和 ZooKeeper 集群的对接。

系列教程 预计阅读时间: 7 分钟 大数据与数据工程

大数据-31 ZooKeeper Leader 选举与 ZAB 协议原理

深入解析 ZooKeeper 的 Leader 选举机制与 ZAB 原子广播协议,涵盖初始选举流程、消息广播三阶段、故障恢复策略及生产部署建议。

系列教程 预计阅读时间: 8 分钟 大数据与数据工程

大数据-32 ZooKeeper 分布式锁 Java 实现详解

基于 ZooKeeper 临时顺序节点实现分布式锁,附完整 Java 代码,涵盖锁竞争、前驱节点监听、CountDownLatch 同步和递归重试的完整流程。

系列教程 预计阅读时间: 9 分钟 大数据与数据工程

大数据-29 ZooKeeper Watcher 原理与命令行实践指南

从客户端、WatcherManager 到 ZooKeeper 服务端,完整解析 Watcher 的注册-触发-通知流程,并通过 zkCli 命令行实操演示节点的增删查改与监听。

系列教程 预计阅读时间: 14 分钟 大数据与数据工程

大数据-30 ZooKeeper Java API 实战:节点增删改查与监听

使用 ZkClient 库通过 Java 代码操作 ZooKeeper,实现 Session 建立、持久节点增删、子节点变更监听与数据变更监听的完整实战示例。

系列教程 预计阅读时间: 9 分钟 大数据与数据工程

大数据-27 ZooKeeper 集群配置详解与启动验证

深入解析 zoo.cfg 核心参数含义,讲解 myid 文件配置规范,演示 3 节点集群启动流程与 Leader 选举结果验证。

系列教程 预计阅读时间: 8 分钟 大数据与数据工程

大数据-28 ZooKeeper ZNode 数据结构与 Watcher 监听机制详解

深入解析 ZooKeeper 的 ZNode 四种节点类型、ZXID 事务 ID 结构,以及 Watcher 一次性触发的监听机制原理与实践。

系列教程 预计阅读时间: 8 分钟 大数据与数据工程

大数据-25 Sqoop 增量导入与 CDC 变化数据捕获原理

介绍 Sqoop 的 --incremental append 增量导入机制,并深入讲解 CDC(变化数据捕获)的核心概念、捕获方式对比及 Flink CDC、Debezium 等现代方案选型。

系列教程 预计阅读时间: 8 分钟 大数据与数据工程

大数据-26 ZooKeeper 分布式协调框架简介与集群部署

介绍 ZooKeeper 的核心概念、Leader/Follower/Observer 角色分工、ZAB 协议原理,并演示 3 节点集群的安装与配置过程。

系列教程 预计阅读时间: 6 分钟 大数据与数据工程

大数据-23 Sqoop 部分导入:--query、--columns、--where 三种过滤方式

详解 Sqoop 从 MySQL 按条件导入部分数据到 HDFS 的三种方式:自定义查询、指定列、WHERE 条件过滤,并说明各自的适用场景与注意事项。

系列教程 预计阅读时间: 7 分钟 大数据与数据工程

大数据-24 Sqoop 与 Hive 集成:MySQL ↔ Hive 双向数据迁移

演示使用 Sqoop 将 MySQL 数据直接导入 Hive 表,以及从 Hive 导出数据回 MySQL,涵盖 --hive-import、--create-hive-table 等关键参数的用法。