我是Apache Flink的新手,我们的团队正试图在Apaches Mesos上建立一个Apache Flink Cluster。我们已经安装了Apache Mesos& Marathon有3个主节点和3个Slave,现在我们正在尝试安装没有DC / OS的Apache Flink,如https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/mesos.html#mesos-without-dcos所述。
我在这里有几个问题:
我们是否需要在所有节点(主站和从站)上下载Flink并在所有节点中配置mesos.master?
或者我们只在一个主节点上下载flink并在那里配置mesos.master吗?
如果需要在所有节点上下载flink,那么flink目录的位置应该是什么,或者是否有可以指定的脚本?
正在运行" mesos-appmaster.sh"主节点上还负责在slave上运行flink库和类吗?
由于
答案 0 :(得分:4)
我们是否需要在所有节点(主站和从站)上下载Flink并在所有节点中配置mesos.master?
不,不。 Actualy它取决于你想要运行Flink的方式。在您的设置中,运行Flink最方便的方法是使用Marathon运行它并在部署期间下载二进制文件。 See this
或者我们只在一个主节点上下载flink并在那里配置mesos.master吗?
这取决于你。您可以在专用服务器上运行Flink,或让Marathon为您执行此操作。如果您已经拥有Marathon,那么使用Marathon运行Flink会更容易。另一方面,出于调试目的和概念验证,我将推荐独立版本,您可以在其中快速更改本地计算机上的配置并查看其工作原理。创建docker镜像或二进制文件并在存储库中发布它们并最终在Marathon上部署Flink可能会产生更多开销,这会降低开发速度,但会使您在生产中保持安全。 Flink不支持高可用性(HA),因此Marathon需要提供基本的HA支持(在代理崩溃时启动Flink的新实例)。
如果需要在所有节点上下载flink,那么flink目录的位置应该是什么,或者是否有我可以指定的脚本?
不必在所有节点上下载Flink。可以在部署时根据需要下载。
在主节点上运行“mesos-appmaster.sh”还负责在slave上运行flink库和类吗?
Flink是一个调度程序,这意味着它应该在需要时启动Mesos上的任务和执行程序。
答案 1 :(得分:1)
即使不使用DC / OS,也可以随时查看Apache Flink DC/OS package。它的核心是一个马拉松应用程序定义,您可以在纯Marathon / Mesos上部署。 Flink软件包(截至今天)不需要任何DC / OS特定功能。
DC/OS example也可能提供有用的信息。