上QQ阅读APP看书,第一时间看更新
4.7 总结
本章中介绍了Flink中的时间类型,包括事件时间、处理时间、摄取时间,不同的时间类型有其各自的适用场景。窗口是流上的重要概念,在Flink有计数窗口、时间窗口、会话窗口3大类,其原理与机制类似。
基于时间,使用窗口进行数据流切分,按照窗口进行计算,触发窗口统计的是Watermark机制,Watermark在DataStream和SQL中有各自的生成机制。在Flink内部,算子的Watermark可能来自上游的多个算子,Flink会选取其中最小的Watermark作为其当前的Watermark,并向下游广播。时间服务是实现窗口的重要基石,其与窗口、Watermark机制协同配合,共同实现了流上的窗口运算。窗口和时间服务同时依赖于Flink的状态机制,支持可靠的容错。