spark-submit的输出结果

Question

我是spark和scala编程的初学者，我尝试在本地模式下使用spark-submit运行示例，它运行完整，没有任何错误或其他消息但我在consul或spark history web UI中看不到任何输出结果。在哪里以及如何在spark-submit中查看我的程序的结果？

这是我在spark上运行的命令

spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp  /spark-events --conf spark.eventLog.enabled=true  --conf   spark.eventLog.dir=/tmp/spark-events --conf spark.history.ui.port=18080 --class com.intel.analytics.bigdl.models.autoencoder.Train dist/lib/bigdl-0.5.0-SNAPSHOT-jar-with-dependencies.jar -f /opt/work/mnist  -b 8

这是运行结束程序的截图

Answer 1

您还可以找到spark-defaults.conf（或spark-defaults.conf.template并将其复制到spark-defaults.conf）

创建一个日志目录（如/tmp/spark-events/）

添加以下两行：

spark.eventLog.enabled           true
spark.eventLog.dir               file:///tmp/spark-events/

并运行sbin/start-history-server.sh

要使spark-submit运行的所有作业都记录到历史记录服务器中可用的事件目录和概述（http://localhost:18080/）=＆gt; Web UI，无需保持您的火花作业

更多信息：https://spark.apache.org/docs/latest/monitoring.html

PS：在mac上通过自制程序，这些都在子目录/usr/local/Cellar/apache-spark/[version]/libexec/

中

Answer 2

尝试在代码中添加此while(true) Thread.sleep(1000)，以使服务器保持运行，然后检查浏览器中的sparks任务。通常，您应该看到您的应用程序正在运行。

Answer 3

非常感谢您的回答，我已经使用＆＃34; - conf＆＃34;在spark-submit命令中进行了这些设置。我可以通过＆＃34; spark-class org.apache.spark.deploy.history.HistoryServer＆＃34;来查看Web UI历史记录。但我无法访问＆＃34; start-history-server.sh＆＃34; 。我看到历史Web UI中完成的任务和工作，我检查了所有选项卡（作业，阶段，存储，执行程序），但未找到输出结果无处 。你能解释一下历史网页界面甚至领事的结果在哪里？（我的目标是数值结果作为spark-submit命令中接受的数据集的输出）

screenshot from web UI history

此致