Question

我为hadoop 2.2文件下载了一个新的预构建spark。在this文档之后，我想在我的单机上启动我的主人。解压文件后，我输入sbin和start-master，但是我遇到了这个奇怪的问题，这里是日志：

Spark Command: /Library/Java/JavaVirtualMachines/jdk1.7.0_55.jdk/Contents/Home/bin/java -cp :/opt/spark-0.9.0-incubating-bin-hadoop2/conf:/opt/spark-0.9.0-incubating-bin-hadoop2/assembly/target/scala-2.10/spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar -Dspark.akka.logLifecycleEvents=true -Djava.library.path= -Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip bogon --port 7077 --webui-port 8080
========================================

log4j:WARN No appenders could be found for logger (akka.event.slf4j.Slf4jLogger).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" org.jboss.netty.channel.ChannelException: Failed to bind to: bogon/125.211.213.133:7077
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272)
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:391)
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:388)
    at scala.util.Success$$anonfun$map$1.apply(Try.scala:206)

bogon的内容是什么？ IP 125.211.213.133（不是我的IP）来自哪里？这里的问题是什么？

Answer 1

“bogon”来自提供的命令行。您可能忘记将参数--ip替换为主机的本地IP。

使用sbin / start-master.sh时，如果未提供IP，则使用报告的计算机主机名： start-master.sh

if [ "$SPARK_MASTER_IP" = "" ]; then
  SPARK_MASTER_IP=`hostname`
fi

如果报告的主机名不正确，您可以通过设置env变量为Spark提供IP。

SPARK_MASTER_IP=172.17.0.1 start-master.sh

Answer 2

如果您是linux env，请运行命令hostname来检查您的主机名。我认为125.211.213.133是bogon的IP，你错误地将你的主机名设置为“bogon”。

要进行快速修复，您可以运行命令hostname localhost并重试。

无法启动主从，奇怪的事情在日志中命名为“bogon”

2 个答案: