Apache Spark从属节点未连接到主节点，但工作人员已启动

Question

我有5个节点（1个主节点和4个从节点）。我在所有表示主机和从机主机的机器上都有相同的配置文件（slaves和spark-defaults.conf）。

当我使用start-all.sh命令启动Apache spark时，工作程序在所有机器上启动，但是在webUI面板中只有一个工作程序（在主节点上）。

这是怎么了？

Answer 1

我的问题解决了。 我必须手动设置SPARK_MASTER_HOST和SPARK_MASTER_PORT环境变量。将这两个添加到.bashrc文件后，问题解决了，并且从属节点现在已连接到主节点。