如何定期安排flink批处理

Question

我有一个java应用程序，它通过查询数据库中的表并将其提供给kafka主题来对批处理进行flink批处理。我将如何定期安排此计划。有flink调度程序吗？例如，我的java应用程序应该继续在后台运行，flink调度程序应该定期查询数据库中的表并进行flink批处理，并将其提供给kafka（flink批处理和kafka已经完成了我的应用程序的一部分）。如果有人对此提出建议，请提供帮助。

Answer 1

Flink不提供作业调度程序。

您是否考虑过使用连续运行的Flink DataStream应用程序来实现用例？您可以实现定期查询数据库的SourceFunction。

连续流应用程序具有移动部件较少的优点（没有调度程序，出现问题时无故障处理）以及跨越＃34;批次＆＃34;的一致视图。缺点是作业总是消耗资源（Flink无法在低负载时自动缩小）。