为什么pyspark在macOS上给出“我们找不到任何外部IP地址”？

Question

我使用pyspark并在下方收到警告。有人能告诉我如何解决它吗？这是我应该担心的事情吗？

代码：

lines = sc.textFile("README.md") #worked
lines.count() #error 

警告：

  

16/02/24 08:20:39警告：您的主机名，a.local解析为环回/不可达地址：fe80：0：0：0：f09c：b1ff：fef2：170c％awdl0，但是我们找不到任何外部IP地址！

Answer 1

Spark会将您的主机名解析为一个地址，以便为Spark应用程序的节点（驱动程序和执行程序）之间建立通信通道。

看起来您的计算机有多种名称（可能在/etc/hosts中），其中一些名称无法解析Spark可以使用的名称。

您可以使用localhost环境变量为spark-shell显式设置本地主机名SPARK_LOCAL_HOSTNAME（可能是可解析的），如下所示：

SPARK_LOCAL_HOSTNAME=localhost ./bin/spark-shell

或者：

./bin/spark-shell -c spark.driver.host=localhost

有关详细信息，请参阅文档中的Environment Variables。

Answer 2

在$SPARK_HOME/conf/spark-env.sh中添加本地路径：

SPARK_LOCAL_IP=127.0.0.1