如何在远程YARN群集上运行Flink作业

Question

我有一些问题需要通过scala API远程部署Flink作业。

我在群集上启动Yarn会话，然后使用jar在命令行中运行我的作业没有问题。

我想要的是用IDE直接运行我的工作。如何在scala中执行此操作？

val env = ExecutionEnvironment.createRemoteEnvironment("mymaster", 6123, "myjar-with-dependencies.jar")

这不起作用，我确实意识到我没有宣布任何YARN部署。

任何帮助？

Answer 1

Flink目前（2017年3月，Flink 1.2）不允许通过ExecutionEnvironment以编程方式部署YARN。

您可以查看Flink的内部未记录的API，以便在YARN上部署它，然后通过远程环境提交。