如何在apache-flink中安排工作

时间:2018-03-12 20:49:00

标签: apache-flink

我想编写一个每24小时后由apache flink触发的任务,然后由flink处理。有什么可能的方法呢? flink是否提供任何作业调度功能?

1 个答案:

答案 0 :(得分:2)

Apache Flink不是作业调度程序,而是一个事件处理引擎,它是一个不同的范例,因为Flink作业应该连续运行而不是由计划触发。

也就是说,您可以通过简单地使用搁置调度程序(即cron)来实现该功能,该调度程序计划在Flink集群上启动作业,然后在收到某种通知表明作业已完成后停止(即通过Kafka主题)或者只是使用超时,之后您会认为作业已完成,您可以停止工作。但同样,特别是因为Flink不是为这种用例而设计的,你肯定会遇到Flink不支持的边缘情况。

或者,您可以简单地使用24小时翻滚窗口并在相应的触发功能中运行您的任务。有关此问题的详细信息,请参阅https://flink.apache.org/news/2015/12/04/Introducing-windows.html