我是Spark的新手,我正在尝试在spark中运行SimpleApp.py。
当我使用spark-shell ./bin/pyspark时,url http://192.168.0.11:4040/
一直保持完整,shell处于活动状态,但是当我杀死shell并尝试运行spark独立应用程序时
./bin/spark-submit --master yarn examples/SimpleApp.py
网址http://192.168.0.11:4040/
仅在作业运行时处于活动状态。完成后我无法访问该网址。
如何保持URL始终以spark独立模式运行。
我在spark官方网站上使用spark-1.1.1-bin-hadoop2.4并在Mac-os中运行相同
答案 0 :(得分:0)
将评论转为答案......
您可以按照Monitoring docs为您的应用程序启用事件日志记录,然后您可以使用Spark的历史记录服务器呈现已完成应用程序的UI。