我是Apache Spark的新手。目前正在使用IntelliJ IDEA 14,maven项目方法。由于
,我的程序停止后无法访问Spark UI 15/10/22 23:28:27 INFO SparkUI: Stopped Spark web UI at http://192.168.1.88:4041
SparkUI停止太快,我无法查看我的程序的功能。有没有办法在特定程序停止后查看SparkUI?或者我可以找到运行程序后创建的某种日志吗?
设置" spark.eventLog.enabled" to true和" spark.eventLog.dir"到本地文件夹,我能够生成Unix可执行文件(local-1445955378567)。但是,日志的细节不是我所期望的。如何添加SparkListener ??
答案 0 :(得分:2)
您需要保持ui活着(通过保持上下文活动)或启动历史服务器,因为ui与上下文绑定。 http://spark.apache.org/docs/latest/monitoring.html