如何将Flink流作业提交给EMR?

时间:2019-12-11 06:29:40

标签: apache-flink airflow amazon-emr flink-streaming

我要在AWS EMR上运行的几个长期运行(流式)flink作业。我从AWS控制台或使用aws cli阅读了这样做的步骤。但这是手动的。在生产环境(在那里我可以有多个作业并且可能还需要处理故障方案)中实现此目的的方法是什么?

1 个答案:

答案 0 :(得分:0)

如果要将多个作业提交到EMR群集,则可以使用Flink的REST API来提交和监视作业。它使用与Web UI相同的端口,您可以通过遵循these instructions在EMR上进行访问。

如果您想为每个Flink作业启动新的EMR群集,则可以使用AWS的API或CLI。