微光实验室 · 博客归档
博客 第37页
记录技术探索与工程思考，共 801 篇文章。
大数据-109 Flink 架构深度解析：JobManager、TaskManager 与核心角色全景图
Flink 的运行架构采用典型的 Master/Slave 模式，各核心组件分工明确。JobManager 作为 Master，负责作业的解析、调度、检查点协调以及故障恢复，同时支持高可用设计和多种作业提交方式。
大数据-110 Flink 安装与部署指南 支持 Local/Standalone/YARN 的多种模式
Flink 提供多种安装模式以适应不同场景需求。Local 模式适合个人学习与小规模调试，配置简单，可直接在本地 IDE 中运行。Standalone 模式是 Flink 内置的集群管理方式，包含 JobManager 和 TaskMana...
大数据-107 Flink Apache Flink 入门全解：流批一体的实时计算引擎 从起源到技术特点的全面解析
Apache Flink 是一个开源的大数据流处理框架，支持无界流和有界批数据的高效计算，以"流批一体"为核心理念，将批处理视为流处理的特例。其具备高性能、分布式执行和弹性扩展能力，能够在 YARN、Kubernetes 等集群环境中运行...
大数据-108 Flink 流批一体化入门：概念解析与WordCount代码实践 批数据+流数据
Apache Flink 既支持流处理（Stream Processing），也支持批处理（Batch Processing）。流处理适用于实时数据，如传感器、日志或交易流，特点是处理无界数据流、支持事件时间、窗口操作和状态管理...
大数据-43 Redis Lua 脚本：EVAL、redis.call 与原子操作实战
系统讲解 Redis Lua 脚本的 EVAL 命令语法、redis.call 与 redis.pcall 的区别，以及原子计数器、CAS、批量操作等四个典型实战案例。
大数据-44 Redis 慢查询日志与性能调优实践
详解 Redis 慢查询日志的配置参数（slowlog-log-slower-than、slowlog-max-len）、核心命令，以及数据结构优化、Pipeline、监控体系等生产级性能调优策略。
大数据-103 Spark Streaming 消费 Kafka：Offset 获取、存储与恢复详解
Spark Streaming 集成 Kafka 时，Offset 管理是保证数据处理连续性与一致性的关键环节。Offset 用于标记消息在分区中的位置，应用可通过它来控制消费进度。若在程序异常退出前未持久化保存 Offset...
大数据-104 Spark Streaming 与 Kafka 集成：Offset 管理机制详解与最佳实践 Scala版
Offset用于标记Kafka分区内消息的位置，正确管理能够实现"至少一次"甚至"仅一次"的数据处理语义。通过持久化Offset，应用在故障恢复时可从上次处理的位置继续消费，避免消息丢失或重复。
大数据-101 Spark Streaming 有状态转换详解：窗口操作与状态跟踪实战 附多案例代码
窗口操作通过设置窗口长度（windowDuration）和滑动间隔（slideDuration），在比 batchDuration 更长的时间范围内整合多个批次的数据，实现动态的流式计算。典型案例展示了如何通过 reduceByWindow...
大数据-102 Spark Streaming 与 Kafka 集成全解析：Receiver 与 Direct 两种方案
本文介绍了 Spark Streaming 与 Kafka 的两种集成方式：Receiver Approach 和 Direct Approach。Receiver 方式通过 Executor 上的 Receiver 持续接收数据...
大数据-41 Redis 高级数据类型：Bitmap、Geo 与 Stream
深入讲解 Redis 的 Bitmap 位图、Geo 地理位置（GeoHash、Z-order 曲线、Base32 编码）与 Stream 消息流三种高级数据类型，含常用命令与实战示例。
大数据-42 Redis Pub/Sub 发布订阅：机制、弱事务与风险
详解 Redis 发布订阅模式的工作机制、三大弱事务缺陷（无持久化、无确认、无重试），以及在生产环境中的替代方案选择。
大数据-39 Redis 源码编译安装与启动配置
在 Ubuntu 上从源码编译安装 Redis 6.2.9，配置 redis.conf 守护进程模式，启动 redis-server 并通过 redis-cli 验证连接。
大数据-40 Redis 五大数据类型命令详解与实战
全面讲解 Redis 的 String、List、Set、Sorted Set、Hash 五大数据类型的常用命令、底层特性与典型使用场景，附完整命令示例。
大数据-37 HBase Java API 增删改查完整代码
使用 HBase Java Client API 实现建表、插入、删除、Get 查询、全表扫描与范围扫描，附完整 Maven 依赖和可运行代码示例。
大数据-38 Redis 分布式缓存介绍与缓存读写模式详解
介绍 Redis 的核心特性与五大数据类型，深入讲解旁路缓存、穿透模式、Write Behind 三种缓存读写模式的原理与适用场景。
大数据-35 HBase 集群模式：3 节点集群配置与启动
基于上一篇单节点配置，将 HBase 分发到 3 个节点组成生产集群，介绍配置同步、集群启动、Web UI 验证及 HBase Shell 基本操作。
大数据-36 HBase 增删改查与列族设计详解
深入讲解 HBase 列族设计原则、Shell 操作实战，涵盖建表、插入、查询、更新、删除完整流程，附生产级列族配置示例。
大数据-33 HBase 整体架构：HMaster、HRegionServer 与数据模型
全面解析 HBase 分布式数据库的整体架构，包括 ZooKeeper 协调、HMaster 管理节点、HRegionServer 数据节点、Region 存储单元及四维数据模型，适合大数据架构选型参考。
大数据-34 HBase 单节点配置：hbase-env 与 hbase-site.xml 详解
手把手配置 HBase 单节点环境，详解 hbase-env.sh、hbase-site.xml 关键参数，完成与 Hadoop HDFS 和 ZooKeeper 集群的对接。