在Mesos / Marathon上运行Flink时将自定义参数传递给docker

时间:2018-01-23 02:12:01

标签: apache-flink mesos marathon

我的团队正在尝试在Mesos / Marathon上设置Apache Flink(v1.4)群集。我们正在使用the docker image provided by mesosphere。它的效果非常好!

由于新要求,任务管理器必须使用扩展运行时权限启动。我们可以通过Marathon Web UI轻松为应用程序管理器启用此运行时权限。但是,我们找不到为任务管理器启用权限的方法。

在Apache Spark中,我们可以在Spark的配置文件中设置spark.mesos.executor.docker.parameters privileged=true。因此,Spark可以将此参数传递给docker run命令。我想知道Apache Flink是否允许我们在启动任务管理器时将自定义参数传递给docker run。如果没有,我们如何启动具有扩展运行时权限的任务管理器?

由于

3 个答案:

答案 0 :(得分:0)

不幸的是,目前这是不可能的(或者只有Tobi指出的框架调度程序)。

我继续为此功能创建了一个Jira,以便您可以跟踪/添加详细信息/自己做出贡献:https://issues.apache.org/jira/browse/FLINK-8490

答案 1 :(得分:0)

您应该能够在https://github.com/mesoshq/flink-framework/blob/master/index.js的ContainerInfo中调整参数设置以支持此功能。我最终会在Docker镜像中更新Flink版本......

答案 2 :(得分:0)

this commit中引入了一个新参数mesos.resourcemanager.tasks.container.docker.parameters,允许将任意参数传递给Docker。