Flink内核原理与实现
上QQ阅读APP看书,第一时间看更新

1.3 Flink的未来

Flink的理想是构建以流为核心的批流一体的计算框架,但是目前还没有完全实现以流为核心的计算。在Flink1.9版本之前,批流是两套体系,批处理的API是DataSet API,流计算的API是DataStream API。从Flink1.9版本开始,开启了批流一体的进程。首先在Flink Table&SQL模块的API和算子层面上实现了统一,在不远的未来,DataSet API将会被废弃,同样DataSet的算子也会被废弃,从而完全使用DataStream API及其算子来实现批流的统一。

随着AI的持续发展,Flink在其1.9及以后的版本中设计了新的PyFlink,提供Python API,逐渐将AI生态融合进来,AI开发者可以充分使用Flink的分布式计算能力。在Flink1.10版本中,PyFlink还不是特别成熟,所以本书中暂不对此进行介绍,待Flink的后续版本发布之后,再详细介绍其原理和实现。