标签: datastream
共 3 篇文章
大数据-115 Flink DataStream Transformation：Map、FlatMap、Filter 到 Window 的全面讲解
Flink 针对 DataStream 提供了丰富的算子，支持数据流在不同场景下的灵活处理。常见的算子包括 Map、FlatMap 和 Filter，用于元素转换、拆分与条件筛选；KeyBy 和 Reduce/Fold/Aggregations，可实现基于键的分区、滚动归约与聚合操作；Window 系列算子，能按照时间或事件对流进行窗口化计算，便于实现实时统计与累计功能。
大数据-114 Flink DataStreamAPI 从 SourceFunction 到 RichSourceFunction 源函数的增强与实战
RichSourceFunction 和 RichParallelSourceFunction 是功能增强型的源函数，适用于需要复杂逻辑和资源管理的场景。相比基础的 SourceFunction，它们提供了更完整的生命周期方法（open、close、run、cancel），支持在作业开始和结束时进行初始化和清理操作。
大数据-112 Flink DataStream API：数据源、转换与输出 文件、Socket 到 Kafka 的完整流程
DataSource、Transformation 和 Sink。DataSource 提供多样化的数据输入方式，包括文件系统、消息队列、数据库及自定义数据源；Transformation 是计算的核心环节，支持 Map、FlatMap、Filter、KeyBy、Window 等操作，并能以链式调用构建完整的数据流处理管道；Sink 负责结果输出，可将数据写入消息系统、数据库或文件系统，并支持自定义实现。