火花在主人的不同位置比奴隶

时间:2018-02-15 15:48:06

标签: apache-spark cluster-computing master-slave apache-spark-2.0

我有一个Apache Spark设置,主设备和2个从设备。 Spark在每个从节点上与主节点上的位置相同。

  

〜/火花/火花2.2.0彬hadoop2.7

这很好。

我现在希望移动从属节点上的火花位置,但保留在主节点上的位置。现在我的设置如下:

站长:

  

〜/火花/火花2.2.0彬hadoop2.7

从站:

  

〜/火花/ spark2 /火花2.2.0彬hadoop2.7

现在当我在我的主实例上运行start-slaves.sh时,我收到以下错误:

  

slave1:bash:第0行:cd:〜/ spark / spark2 / spark-2.2.0-bin-hadoop2.7:否   这样的文件或目录

我没有移动大师的问题,但如果可以在不移动它的情况下这样做,我宁愿知道。我的设置可能吗?

1 个答案:

答案 0 :(得分:0)

正如@Ramesh Maharjan所说:

  

在集群计算中,所有节点中的所有配置和设置都应相同。

我在一个设置上对此进行了测试,其中所有节点上的配置和设置都是缩进的,现在可以正常工作。