使用现有Apche-Spark独立群集进行Mesos配置

Question

我是Apache-spark的初学者！ 我使用4台PC设置了Spark独立集群。 我想将Mesos与现有的Spark独立集群一起使用。但我读到我需要首先安装Mesos然后配置spark。

我也看过使用Mesos设置Spark的文档，但它对我没用。

那么如何使用现有的spark独立集群配置Mesos？

Answer 1

Mesos是独立Spark管理器的替代集群管理器。您不能使用它，而是使用它而不是。

• 按照https://mesos.apache.org/gettingstarted/
创建Mesos群集
• 确保分发Mesos本机库在您用于提交作业的计算机上可用
• 对于集群模式启动Mesos调度程序（sbin/start-mesos-dispatcher.sh）。
• 使用Mesos主URI（客户端模式）或调度程序URI（集群模式）提交应用程序。