Spark独立集群中的工作者和主服务器没有通信(两者都没有启动)

时间:2014-09-15 15:50:18

标签: cluster-computing apache-spark

我和Spark Clusters: worker info doesn't show on web UI有同样的问题,但我似乎无法弄清问题是什么。

除了那里写的内容之外,还有两个有趣/有用的点:

  1. 工人们将出现在他们各自的工作人员网站上 - > http://xxx.xx.xx.xx:8081/(但不是主人(http://yyy.yy.yy.yy:8080/))

  2. 工人将在一分钟左右结束(大概是因为他们无法连接到主人),没有错误信息。

  3. (如果我运行sbin / start-slaves.sh,我看到:

    root@198.23.89.40: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-alanbaresj5.hi.com.out
    

    ,如果我再次跑步(不等一分钟左右),

    root@198.23.89.40: org.apache.spark.deploy.worker.Worker running as process 30542. Stop it first.
    

    有什么想法吗?

    谢谢!

0 个答案:

没有答案