Flink批量连续运行

时间:2016-10-12 08:46:59

标签: apache-flink flink-streaming

我有flink批处理工作。连续跑步的最佳方式是什么? (它需要在完成时重新启动,因为流式传输作业可以提供新数据)

如果已完成,我想立即重新启动作业。

  • 无限循环和内部调用任务?
  • 创建一个bash脚本并始终将作业推送到作业管理器中? (我认为这是一个非常大的资源浪费)

由于

1 个答案:

答案 0 :(得分:0)

在类似的用例中,我们对同一集合运行Flink作业;我们会定期触发新工作。 [每天,每小时等。} https://azkaban.github.io/可用于计划。这不是您真正提到的。但是,紧密匹配可能足以解决您的用例。