如何在Flink有状态功能应用程序中创建自动保存点?

时间:2020-07-26 01:41:09

标签: apache-flink flink-streaming flink-statefun

我正在尝试采用新的有状态功能方法,并且已经尝试手动创建保存点(https://ci.apache.org/projects/flink/flink-statefun-docs-release-2.1/deployment-and-operations/state-bootstrap.html#creating-a-savepoint)。

它的工作原理就像一种魅力,但是我找不到自动执行此操作的方法。例如,我有数百万个键,我需要将它们全部写到保存点。

1 个答案:

答案 0 :(得分:1)

您是否有关于如何用从文件或其他数据源读取的内容替换示例中的env.fromElements的问题?在这里使用的Flink的DataSet API可以从任何HadoopInputFormat中读取。有关详细信息,请参见DataSet Connectors

对于常见情况,有一些易于使用的快捷方式。如果您只想使用TextInputFormat从文件中读取数据,则将如下所示:

env.readTextFile(path)

,并使用CsvInputFormat从CSV文件读取:

env.readCsvFile(path)

有关使用这些快捷方式的更多信息,请参见Data Sources

如果我对这个问题有误解,请澄清您的担忧。