针对纱线上的Spark作业的应用执行监控

Question

我可以在Spark独立模式下在Web UI上详细查看应用程序执行信息，但是当涉及到纱线时，它就消失了。那么，当在纱线上运行作业时，我在哪里可以看到执行信息？

Answer 1

您需要使用yarn配置spark history server，然后启动它

在spark-defaults.conf文件中添加以下属性

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://LOCATION/TO/SPARK/EVENT/LOG

spark.yarn.historyServer.address        SPARK_HISTORY_SERVER_HOST
spark.history.ui.port                   SPARK_HISTORY_SERVER_PORT

spark.yarn.services                     org.apache.spark.deploy.yarn.history.YarnHistoryService
spark.history.fs.logDirectory           hdfs://LOCATION/TO/SPARK/EVENT/LOG

然后启动spark history server：

$/PATH/TO/SPARK/sbin/start-history-server.sh

附：我假设Spark已经配置了hadoop / yarn（所以你已经在spark-env.sh中设置了配置文件的位置）

Answer 2

你可以debug your application，但我想没有专用的用户界面。