独立的Apache Spark - 作为slave ip和port放什么？

Question

我正在尝试在我的本地MacBook Pro上启动Apache Spark群集。我开始了主人：

myMachine$ ./start-master.sh

然后在记录器中，我有这个：

14/08/30 10:25:38 INFO Master: Starting Spark master at spark://myMachine.local:7077

现在我需要启动一个奴隶：

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

这里适当的IP和PORT应该是什么？谢谢！

Answer 1

你只是告诉这个奴隶在哪里找到主人。 它应该使用myMachine.local甚至localhost用于'IP'（我不认为它确实需要一个实际的IP地址，主机名应该没问题）和7077用于端口 - 也就是说，只是模仿你启动主人时打印出的内容。

myMachine$./bin/spark-class org.apache.spark.deploy.worker.Worker spark://myMachine.local:7077

Answer 2

启动主人后，转到

  localhost:8080

将有你的主ip和端口信息，如

Spark Master at spark://yourip:7077