Spark独立应用程序模式完成后,SparkUI URL变为非活动状态

时间:2014-12-10 23:27:13

标签: python apache-spark

我是Spark的新手,我正在尝试在spark中运行SimpleApp.py。 当我使用spark-shell ./bin/pyspark时,url http://192.168.0.11:4040/一直保持完整,shell处于活动状态,但是当我杀死shell并尝试运行spark独立应用程序时

./bin/spark-submit --master yarn examples/SimpleApp.py

网址http://192.168.0.11:4040/仅在作业运行时处于活动状态。完成后我无法访问该网址。 如何保持URL始终以spark独立模式运行。

我在spark官方网站上使用spark-1.1.1-bin-hadoop2.4并在Mac-os中运行相同

1 个答案:

答案 0 :(得分:0)

将评论转为答案......

您可以按照Monitoring docs为您的应用程序启用事件日志记录,然后您可以使用Spark的历史记录服务器呈现已完成应用程序的UI。