Flink数据集api交付保证和检查点

时间:2017-10-22 05:11:56

标签: apache-flink

Flink文档提到了数据流api的一次或至少一次的交付保证,但是,我没有发现数据集api的相同引用。

保证消息只传递一次到数据集中的所有转换;此外,在没有检查站机制的情况下,唯一合理的办法是从一开始就开始工作?

我可以将数据流api用于批处理作业,我会失去什么?

1 个答案:

答案 0 :(得分:0)

描述了DataSet api的容错here,是的,它基于重试失败的作业。

您当然可以将DataStream api用于有限(批处理)作业。有一些功能只存在于批处理api中,例如机器学习和图形库,而DataSet api有一些不适用于DataStreams的优化,但对于许多应用程序而言,差异并不显着。 / p>