我有9个节点要运行Apache Spark
,所有节点都有相同的用户名(比如Jack
)。它们的6个节点(包括master
)也有密码(比如pwd1
),而其余3个节点有另一个密码(比如pwd2
)。我设置了ssh
。
我将JAVA_HOME
设置在.bashrc
家中的Jack
,但是当我执行时
./sbin/start-all.sh
在Apache Spark
中,密码为pwd2的 3个节点会引发错误:
未设置JAVA_HOME
其余6个密码为pwd1的节点成功启动。
我的第一个问题是: Spark
群集的密码必须相同吗?我知道必须使用相同的用户名。
顺便说一句,如果我们直接在JAVA_HOME
中设置spark-env.sh
,则所有节点都会成功启动。
我的第二个问题是:对于密码为pwd2的3个节点,为什么JAVA_HOME
中的.bashrc
不起作用,JAVA_HOME
中的spark-env.sh
有效?
Java
版本为jdk1.8.0_161
,Spark
版本为spark-2.3.0-bin-hadoop2.7
。