Flink时间语义详解
在Flink的流式处理中，会涉及到时间的不同概念：
EventTime（事件时间）：事件发生的时间，例如点击网站某个链接的时间，每条日志都会记录自己的生成时间。如果以EventTime为基准来定义时间窗口，将形成EventTimeWindow，要求消息本身携带EventTime。
IngestionTime（摄入时间）：数据进入Flink的时间，例如Source消费到Kafka中的数据。如果以IngestionTime为基准来定义时间窗口，将形成IngestingTimeWindow，以Source的SystemTime为准。
ProcessingTime（处理时间）：某个Flink节点执行某个Operation的时间，例如TimeWindow处理数据时的系统时间。默认时间属性就是ProcessingTime。如果以ProcessingTime基准来定义时间窗口，将形成ProcessingTimeWindow，以Operator的SystemTime为准。
在Flink的流式处理中，绝大部分的业务都会使用EventTime，一般只在EventTime无法使用时，才会被迫使用ProcessingTime或者IngestionTime。
Watermark机制详解
什么是Watermark？
Watermark是一个特殊的时间戳，用于告诉Flink数据流中事件的进展情况。它表示Flink估计的”当前时间”，即所有早于该时间戳的事件都已经到达。
核心原理：
- Watermark = 事件时间 - 允许延迟时间
- 当Watermark时间 >= 窗口结束时间，且窗口内有数据，则触发计算
- 超过Watermark的数据被视为迟到事件
窗口触发条件：
- 在[window_start_time, window_end_time)窗口中有数据存在
- Watermark时间 >= window_end_time
示例： 假设窗口为10:00:00 ~ 10:10:00，允许延迟3秒
- 水印时间 = 事件时间 - 3秒
- 需要收到事件时间为10:10:03的数据（水印时间为10:10:00）才会触发窗口计算
乱序问题解决
Flink通过Watermark机制解决数据乱序问题：
- 水印(Watermark)机制：跟踪事件时间进度，指示”时间已经推进到哪一点”
- 窗口触发策略：允许延迟数据在一定时间范围内加入计算
- 侧输出(Side Output)：收集延迟太严重的数据单独处理
配置方式
// 设置使用事件时间
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)应用场景
EventTime适用场景：
- 计算用户行为分析中的会话窗口
- 生成精确的每日/每小时报表
- 检测异常事件的时间序列模式
ProcessingTime适用场景：
- 需要极低延迟的监控告警
- 近似实时统计
- 不需要严格时间精确性的场景