Spark根本就没有开始

Question

几周前，我正在使用jupyter和pyspark进行开发，一切正常。

我现在回到这里工作，我的环境发生了一些事情。我绝对无法启动火花（spark-shell，pyspark或spark-submit）。日志始终在以下行中停止：

16/03/15 17:43:58 INFO SparkEnv: Registering OutputCommitCoordinator

我的环境是：

• Ubuntu 14.04
• Spark 1.6.1
• Java 1.7或1.8（试过两个！）
• Python 2.7.11 | Anaconda 2.3.0（64位）| （默认，2015年12月6日，18：08：32）[GCC 4.4.7 20120313（红帽4.4.7-1）]

完整日志位于：http://pastebin.com/raw/TCb0crkA

（我不使用HADOOP，这就是为什么没有设置HADOOP_HOME）

请帮忙吗？！

修改

我的应用程序是在python中，我发布的日志来自使用以下命令启动的独立pyspark应用程序：

$SPARK_HOME/bin/spark-submit --py-files py-files.zip main.py

我的$ SPARK_HOME设置为/opt/spark-1.6.1-bin-hadoop2.6/

虽然我无法启动我的应用程序，但我也注意到这发生在pyspark shell，甚至是scala shell。

Answer 1

日志显示您的Hadoop_Home未设置

HADOOP_HOME or hadoop.home.dir are not set

设置HADOOP_HOME并重新启动系统并再次测试 检查您的环境设置，如果您正在运行Spark Standalone模式，则可以忽略HADOOP_HOME。