Question

我在纱簇上运行火花。我试图启动历史服务器

./start-history-server.sh

但是出现了以下错误。

starting org.apache.spark.deploy.history.HistoryServer, logging to /home/abc/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-abc-org.apache.spark.deploy.history.HistoryServer-1-abc-Efg.out
failed to launch org.apache.spark.deploy.history.HistoryServer:
at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:47)
... 6 more
full log in /home/abc/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-abc-org.apache.spark.deploy.history.HistoryServer-1-abc-Efg.out

我已将spark.eventLog.enabled = true和spark.history.fs.logDirectory和spark.eventLog.dir设置为hdfs日志记录目录。

为什么我无法启动历史记录服务器？

更新1：

谢谢stf告诉我查看日志文件;我不知道它存在！

我发现我的问题出在 spark-env.sh

的设置中

 export SPARK_HISTORY_OPTS="-Dspark.eventLog.enabled=true -Dspark.eventLog.dir=hdfs:///localhost/eventLogging spark.history.fs.logDirectory=hdfs:///localhost/eventLogging"

正斜杠变为点

 Error: Could not find or load main class spark.history.fs.logDirectory=hdfs:...localhost.eventLogging

知道如何防止这种情况发生吗？

更新2： 由于stf的帮助解决了这个问题。 spark-env.sh中的正确设置是

 SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.eventLog.enabled=true -Dspark.eventLog.dir=hdfs://localhost/eventLogging -Dspark.history.fs.logDirectory=hdfs://localhost/eventLogging"

Answer 1

对于那些仍然遇到此错误并且评论讨论没有帮助的人。以下为我解决了这个问题。确保在spark/conf/spark-defaults.conf

中包含以下内容

spark.eventLog.enabled          true
spark.eventLog.dir              /path/to/spark/logs
spark.history.fs.logDirectory   /path/to/spark/logs

然后运行spark/sbin/start-history-server.sh /path/to/spark/logs

无法启动spark历史服务器

1 个答案: