我和Spark Clusters: worker info doesn't show on web UI有同样的问题,但我似乎无法弄清问题是什么。
除了那里写的内容之外,还有两个有趣/有用的点:
工人们将出现在他们各自的工作人员网站上 - > http://xxx.xx.xx.xx:8081/(但不是主人(http://yyy.yy.yy.yy:8080/))
工人将在一分钟左右结束(大概是因为他们无法连接到主人),没有错误信息。
(如果我运行sbin / start-slaves.sh,我看到:
root@198.23.89.40: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-alanbaresj5.hi.com.out
,如果我再次跑步(不等一分钟左右),
root@198.23.89.40: org.apache.spark.deploy.worker.Worker running as process 30542. Stop it first.
有什么想法吗?
谢谢!