如何在没有DC / OS的Mesos集群上安装Flink?

时间:2017-09-08 13:56:23

标签: apache-flink mesos marathon

我是Apache Flink的新手,我们的团队正试图在Apaches Mesos上建立一个Apache Flink Cluster。我们已经安装了Apache Mesos& Marathon有3个主节点和3个Slave,现在我们正在尝试安装没有DC / OS的Apache Flink,如https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/mesos.html#mesos-without-dcos所述。

我在这里有几个问题:

  1. 我们是否需要在所有节点(主站和从站)上下载Flink并在所有节点中配置mesos.master?

  2. 或者我们只在一个主节点上下载flink并在那里配置mesos.master吗?

  3. 如果需要在所有节点上下载flink,那么flink目录的位置应该是什么,或者是否有可以指定的脚本?

  4. 正在运行" mesos-appmaster.sh"主节点上还负责在slave上运行flink库和类吗?

  5. 由于

2 个答案:

答案 0 :(得分:4)

  1.   

    我们是否需要在所有节点(主站和从站)上下载Flink并在所有节点中配置mesos.master?

    不,不。 Actualy它取决于你想要运行Flink的方式。在您的设置中,运行Flink最方便的方法是使用Marathon运行它并在部署期间下载二进制文件。 See this

  2.   

    或者我们只在一个主节点上下载flink并在那里配置mesos.master吗?

    这取决于你。您可以在专用服务器上运行Flink,或让Marathon为您执行此操作。如果您已经拥有Marathon,那么使用Marathon运行Flink会更容易。另一方面,出于调试目的和概念验证,我将推荐独立版本,您可以在其中快速更改本地计算机上的配置并查看其工作原理。创建docker镜像或二进制文件并在存储库中发布它们并最终在Marathon上部署Flink可能会产生更多开销,这会降低开发速度,但会使您在生产中保持安全。 Flink不支持高可用性(HA),因此Marathon需要提供基本的HA支持(在代理崩溃时启动Flink的新实例)。

  3.   

    如果需要在所有节点上下载flink,那么flink目录的位置应该是什么,或者是否有我可以指定的脚本?

    不必在所有节点上下载Flink。可以在部署时根据需要下载。

  4.   

    在主节点上运行“mesos-appmaster.sh”还负责在slave上运行flink库和类吗?

    Flink是一个调度程序,这意味着它应该在需要时启动Mesos上的任务和执行程序。

答案 1 :(得分:1)

即使不使用DC / OS,也可以随时查看Apache Flink DC/OS package。它的核心是一个马拉松应用程序定义,您可以在纯Marathon / Mesos上部署。 Flink软件包(截至今天)不需要任何DC / OS特定功能。

DC/OS example也可能提供有用的信息。