Question

我有两台机器A和B.我正在尝试在机器A上运行Spark Master，在机器B上运行Spark Worker。我在Spark目录的conf / slaves中设置了机器B'host名称。

当我执行start-all.sh以启动master和worker时，我在控制台上收到以下消息：

    abc@abc-vostro:~/spark-scala-2.10$ sudo sh bin/start-all.sh 
    sudo: /etc/sudoers.d is world writable
    starting spark.deploy.master.Master, logging to /home/abc/spark-scala-2.10/bin/../logs/spark-root-spark.deploy.master.Master-1-abc-vostro.out
    13/09/11 14:54:29 WARN spark.Utils: Your hostname, abc-vostro resolves to a loopback address: 127.0.1.1; using 1XY.1XY.Y.Y instead (on interface wlan2)
    13/09/11 14:54:29 WARN spark.Utils: Set SPARK_LOCAL_IP if you need to bind to another address
    Master IP: abc-vostro
    cd /home/abc/spark-scala-2.10/bin/.. ; /home/abc/spark-scala-2.10/bin/start-slave.sh 1 spark://abc-vostro:7077
    xyz@1XX.1XX.X.X's password: 
    xyz@1XX.1XX.X.X: bash: line 0: cd: /home/abc/spark-scala-2.10/bin/..: No such file or directory
    xyz@1XX.1XX.X.X: bash: /home/abc/spark-scala-2.10/bin/start-slave.sh: No such file or directory

Master已启动，但工作人员未能启动。

我在Spark目录的conf / slaves中设置了xyz@1XX.1XX.X.X.

任何人都可以帮我解决这个问题吗？这可能是我遗漏任何配置的东西。

然而，当我在同一台机器上创建Spark Master和Worker时，它工作正常。

Answer 1

你是否也复制了所有Spark的文件？此外，您需要设置密码少访问黑白主和工人。

Answer 2

以下是我要遵循的步骤，

通过SSH设置公钥认证
检查/etc/spark/conf.dist/spark-env.sh
从计算机A（主人）
设置conf / slaves，计算机B的主机名
./ start-all.sh

对于独立群集模式，您可以在spark-env.sh中设置这些选项。例如，

导出SPARK_WORKER_CORES = 2
导出SPARK_WORKER_INSTANCES = 1
导出SPARK_WORKER_MEMORY = 4G

Answer 3

在迈克尔的hadoop多节点集群设置中查看SSH ACCESS。就像那样....会解决你的问题..

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

无法从远程计算机启动/停止Spark Worker

3 个答案: