Apache Spark java主页设置

时间:2018-03-27 05:04:59

标签: java apache-spark ssh

我有9个节点要运行Apache Spark,所有节点都有相同的用户名(比如Jack)。它们的6个节点(包括master)也有密码(比如pwd1),而其余3个节点有另一个密码(比如pwd2)。我设置了ssh

我将JAVA_HOME设置在.bashrc家中的Jack,但是当我执行时

./sbin/start-all.sh

Apache Spark中,密码为pwd2的 3个节点会引发错误:

  

未设置JAVA_HOME

其余6个密码为pwd1的节点成功启动。

我的第一个问题是: Spark群集的密码必须相同吗?我知道必须使用相同的用户名。

顺便说一句,如果我们直接在JAVA_HOME中设置spark-env.sh,则所有节点都会成功启动。

我的第二个问题是:对于密码为pwd2的3个节点,为什么JAVA_HOME中的.bashrc不起作用,JAVA_HOME中的spark-env.sh有效?

Java版本为jdk1.8.0_161Spark版本为spark-2.3.0-bin-hadoop2.7

0 个答案:

没有答案