本地模式下的Apache SparkUI

时间:2015-10-22 15:54:05

标签: maven intellij-idea apache-spark

我是Apache Spark的新手。目前正在使用IntelliJ IDEA 14,maven项目方法。由于

,我的程序停止后无法访问Spark UI
 15/10/22 23:28:27 INFO SparkUI: Stopped Spark web UI at http://192.168.1.88:4041

SparkUI停止太快,我无法查看我的程序的功能。有没有办法在特定程序停止后查看SparkUI?或者我可以找到运行程序后创建的某种日志吗?

设置" spark.eventLog.enabled" to true和" spark.eventLog.dir"到本地文件夹,我能够生成Unix可执行文件(local-1445955378567)。但是,日志的细节不是我所期望的。如何添加SparkListener ??

Output of unix executable"local-1445955378567"

1 个答案:

答案 0 :(得分:2)

您需要保持ui活着(通过保持上下文活动)或启动历史服务器,因为ui与上下文绑定。 http://spark.apache.org/docs/latest/monitoring.html