无法使用start-all.sh在独立模式下启动Spark群集

时间:2016-02-28 08:18:07

标签: apache-spark

我是新手,我正在尝试将Spark Standalone安装到3节点集群。我已经完成了从主服务器到其他节点的无密码SSH。

我尝试了以下配置更改

  • 更新了conf / slaves.sh文件中2个节点的主机名。创建spark-env.sh文件并使用主URL更新SPARK_MASTER_IP另外,尝试过 更新spark-defaults.conf文件中的spark.master值

    conf / slaves.sh的快照

    # A Spark Worker will be started on each of the machines listed below.
    Spark-WorkerNode1.hadoop.com
    Spark-WorkerNode2.hadoop.com
    

spark-defaults.conf的快照

    # Example:
      spark.master                     spark://Spark-Master.hadoop.com:7077

但是当我尝试通过在主服务器上运行start-all.sh来启动集群时,它无法识别工作节点并将集群作为本地启动。

它不会出现任何错误,日志文件显示已成功启动服务' sparkMaster'并成功开始服务' sparkWorker'在主人身上。

我试图在各个节点上运行start-master和start-slave脚本,它似乎工作正常。我可以在Web UI中看到2个工作人员。我正在使用spark 1.6.0

有人可以帮助我解决我在尝试运行启动时所缺少的内容吗?

1 个答案:

答案 0 :(得分:1)

  

conf / slaves.sh的快照

该文件的名称应为slaves,不带扩展名。