我可以在同一节点上拥有主人和工作人员吗？

Question

我有一个3节点spark独立集群，在主节点上我也有一个worker。当我向群集提交应用程序时，另外两个工作程序启动RUNNING，但主节点上的工作程序保持状态LOADING，并最终在其他一台计算机上启动另一个工作程序。

在同一节点上有工作人员和主人是问题吗？ 如果是，有没有办法解决这个问题，或者我不应该在同一节点上有工人和主人？

P.S。这些机器每个都有8个核心，工作人员设置使用7而不是所有的RAM

Answer 1

可以拥有一台托管工人和主人的机器。

您是否可能错误配置了该特定计算机上的spark-env.sh？

Answer 2

是的，你可以，这里来自Spark web doc：

  

除了在Mesos或YARN集群管理器上运行外，Spark还提供了一种简单的独立部署模式。您可以手动启动独立群集，方法是手动启动主服务器，也可以使用我们提供的启动脚本。 也可以在一台计算机上运行这些守护进程进行测试。