我已经尝试在完成应用程序后设置在Spark UI上查看。
我引用了https://spark.apache.org/docs/latest/monitoring.html，但我不知道如何详细设置Spark群集。
我有一台四台计算机：一台是主集群，其余是从集群。
在此页面上写入以输入这些命令。
spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs
这些只需要在主群集上输入吗？或者我是否必须填写所有群集？
我在spark-defaults.conf中都尝试过，但是当我运行spark app时，我得到了同样的错误。
failed on connection exception:java.net.ConnectException: Connection
refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused.
有什么想法吗？
答案 0 :(得分：0)
通过使用EventLoggingListener并使用Spark History Server来保存事件，您可以在应用程序完成后使用Web UI。
使用Spark History Server在浏览器中查看事件日志。
为INFO记录器启用org.apache.spark.scheduler.EventLoggingListener日志记录级别，以查看EventLoggingListener内发生的情况。
将以下行添加到conf/log4j.properties：
log4j.logger.org.apache.spark.scheduler.EventLoggingListener=INFO
您可以通过执行start-history-server.sh shell脚本启动History Server并使用stop-history-server.sh