微光实验室 · 博客归档
博客 第36页
记录技术探索与工程思考，共 801 篇文章。
大数据-123 Flink 并行度设置优先级讲解 原理、配置与最佳实践 从Kafka到HDFS的案例分析
一个Flink程序由多个Operator组成（Source、Transformation、Sink）。一个Operator由多个并行的Task（线程）来执行，一个Operator的并行Task（线程）数目就被称为该Operator（任务）并...
大数据-124 Flink State：Keyed State、Operator State、KeyGroups 详解
根据是否依赖中间状态，Flink 计算可分为有状态和无状态两种类型：无状态计算（Stateless Computation）如 Map、Filter、FlatMap 等操作，每条数据独立处理，执行效率高、可线性扩展；
大数据-49 Redis 缓存五大问题：穿透、击穿、雪崩、热 Key、大 Key 全解
系统梳理 Redis 在高并发场景下最常见的五类缓存问题：缓存穿透、缓存击穿、缓存雪崩、热 Key 和大 Key，分析每种问题的成因并给出可落地的解决方案。
大数据-50 Redis Java Lua 实现乐观锁、WATCH 与 SETNX 分布式锁
Redis 乐观锁实战：WATCH/MULTI/EXEC 机制详解，Lua 脚本实现原子操作，SETNX+EXPIRE 分布式锁从基础到 Redisson，Java 代码完整示例。
大数据-121 Flink 时间语义详解：EventTime、ProcessingTime、IngestionTime
Watermark 是一个特殊的标志，它用于告诉 Flink 数据流中事件的进展情况。简单来说，Watermark 是 Flink 中估计的"当前时间"，表示所有早于该时间戳的事件都已经到达。Flink 认为当前时间在 Watermark...
大数据-122 Flink Watermark 全面解析：事件时间窗口、乱序处理与迟到数据完整指南
Flink 的 Watermark（水印）机制 是事件时间窗口计算中最核心的概念之一，用于处理 乱序事件（Out-of-Order Events） 并确保窗口准确触发。它通过定义系统认为"之前事件已全部到达"的时间点，来决定窗口计算的时机。
大数据-119 Flink 窗口(Window)全解析：Tumbling、Sliding、Session
Flink的Window窗口机制是流处理与批处理统一架构的核心桥梁。Flink将批处理视为流处理的特例，通过时间窗口（Tumbling、Sliding、Session）和计数窗口将无限流切分为有限数据集。
大数据-120 Flink滑动窗口（Sliding Window）详解：原理、应用场景与实现示例
滑动窗口（Sliding Window）是Apache Flink流处理中的核心机制之一，比固定窗口更灵活，广泛应用于实时监控、异常检测、趋势分析和用户行为统计等场景。滑动窗口由两个关键参数组成：
大数据-117 Flink JDBC Sink 详细解析：MySQL 实时写入、批处理优化与最佳实践
JDBC Sink 是最常用的数据输出组件之一，常用于将流处理与批处理结果写入 MySQL、PostgreSQL、Oracle 等关系型数据库。通过 JdbcSink.sink() 方法，开发者可以方便地实现 INSERT/UPDATE/U...
大数据-118 Flink 批处理 DataSet API 全面解析：应用场景、代码示例与优化机制
Flink 的 DataSet API 是批处理的核心编程接口，专为处理静态、有限数据集设计，支持 TB 级甚至 PB 级大数据分析。相比 DataStream API 的流处理，DataSet API 聚焦于离线批处理，具备延迟执行...
大数据-47 Redis 内存管理：过期键删除与内存淘汰策略详解
全面解析 Redis 的内存控制机制，包括 maxmemory 配置、键过期的三种删除策略（惰性/主动/定时），以及 8 种内存淘汰策略的适用场景与选型建议。
大数据-48 Redis 通信原理：RESP 协议与 Reactor 事件驱动模型
深入解析 Redis 的通信底层：RESP 序列化协议的五种数据类型、Pipeline 批处理模式，以及基于 epoll 的 Reactor 单线程事件驱动架构如何支撑 Redis 的高并发处理能力。
大数据-115 Flink DataStream Transformation：Map、FlatMap、Filter 与聚合算子
Flink 针对 DataStream 提供了丰富的算子，支持数据流在不同场景下的灵活处理。常见的算子包括 Map、FlatMap 和 Filter，用于元素转换、拆分与条件筛选；KeyBy 和 Reduce/Fold/Aggregatio...
大数据-116 Flink Sink 使用指南：类型、容错语义与应用场景
Flink 的 Sink 是数据流处理的最终输出端，用于将处理结果写入外部系统或存储介质。它是流式应用的终点，决定数据如何被保存、传输或消费。
大数据-113 Flink 源算子详解：非并行源（Non-Parallel Source）的原理与应用场景
非并行源（Non-Parallel Source）是Flink中并行度固定为1的源操作，无论集群规模如何，只能在单一实例中运行，确保任务按顺序处理。
大数据-114 Flink DataStreamAPI 从 SourceFunction 到 RichSourceFunction
RichSourceFunction 和 RichParallelSourceFunction 是功能增强型的源函数，适用于需要复杂逻辑和资源管理的场景。相比基础的 SourceFunction，它们提供了更完整的生命周期方法（open...
大数据-111 Flink 安装部署 On YARN 部署全流程详解：环境变量、配置与资源申请
在 YARN 模式下部署 Flink 需要完成一系列环境配置和集群管理操作。首先，在各节点配置环境变量，包括 HADOOPCONFDIR、YARNCONFDIR 和 HADOOP_CLASSPATH，并在 profile 中加入 Hadoo...
大数据-112 Flink DataStream API：数据源、转换与输出 文件、Socket 到 Kafka 实战
DataSource、Transformation 和 Sink。DataSource 提供多样化的数据输入方式，包括文件系统、消息队列、数据库及自定义数据源；Transformation 是计算的核心环节，支持 Map、FlatMap...
大数据-45 Redis 持久化机制详解：RDB 与 AOF 对比
系统对比 Redis 两种持久化方案：RDB 快照与 AOF 日志的配置方式、触发机制、优缺点，以及 AOF 重写机制和生产环境的推荐策略。
大数据-46 Redis 持久化之 RDB：快照原理、配置与优缺点
深入解析 Redis RDB 持久化机制，涵盖触发方式、BGSAVE 执行流程、配置参数、文件结构及与 AOF 的对比，帮助你在生产环境中做出合理的持久化选型。