我是spark和scala编程的初学者,我尝试在本地模式下使用spark-submit运行示例,它运行完整,没有任何错误或其他消息但我在consul或spark history web UI中看不到任何输出结果。在哪里以及如何在spark-submit中查看我的程序的结果?
这是我在spark上运行的命令
spark-submit --master local[*] --conf spark.history.fs.logDirectory=/tmp /spark-events --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=/tmp/spark-events --conf spark.history.ui.port=18080 --class com.intel.analytics.bigdl.models.autoencoder.Train dist/lib/bigdl-0.5.0-SNAPSHOT-jar-with-dependencies.jar -f /opt/work/mnist -b 8
这是运行结束程序的截图
答案 0 :(得分:1)
您还可以找到spark-defaults.conf
(或spark-defaults.conf.template
并将其复制到spark-defaults.conf
)
创建一个日志目录(如/tmp/spark-events/
)
添加以下两行:
spark.eventLog.enabled true
spark.eventLog.dir file:///tmp/spark-events/
并运行sbin/start-history-server.sh
要使spark-submit
运行的所有作业都记录到历史记录服务器中可用的事件目录和概述(http://localhost:18080/)=> Web UI,无需保持您的火花作业
更多信息:https://spark.apache.org/docs/latest/monitoring.html
PS:在mac上通过自制程序,这些都在子目录/usr/local/Cellar/apache-spark/[version]/libexec/
答案 1 :(得分:0)
尝试在代码中添加此while(true) Thread.sleep(1000)
,以使服务器保持运行,然后检查浏览器中的sparks任务。通常,您应该看到您的应用程序正在运行。
答案 2 :(得分:0)
非常感谢您的回答,我已经使用" - conf"在spark-submit命令中进行了这些设置。我可以通过" spark-class org.apache.spark.deploy.history.HistoryServer"来查看Web UI历史记录。但我无法访问" start-history-server.sh" 。我看到历史Web UI中完成的任务和工作,我检查了所有选项卡(作业,阶段,存储,执行程序),但未找到输出结果无处 。你能解释一下历史网页界面甚至领事的结果在哪里?(我的目标是数值结果作为spark-submit命令中接受的数据集的输出)
screenshot from web UI history
此致