Apache Flink中DataSet的异步I / O.

时间:2017-02-23 15:16:24

标签: apache-flink

Flink中DataSet上异步I / O的等价物是什么?对于 DataStream ,它基本上是 AsyncDataStream

在地图功能中执行阻止调用?

他们的最佳做法是什么?

1 个答案:

答案 0 :(得分:1)

我用RichMapPartitionFunction实现它,它在输入上提供一个迭代器,并在收集器上发出结果。

由于DataSet API不需要与检查点机制集成并遵守记录和时间戳的顺序,因此尽管MapPartitionFunction不提供任何特定于异步的工具,但实现不应该非常复杂。