如何在Spark群集模式下处理日志

Question

我是Spark的新手。我无法找到如何在Spark群集模式下处理日志。我在Spark脚本中添加了以下属性。

spark.conf.set("yarn.log-aggregation-enable","true")
spark.conf.set("yarn.nodemanager.log-dirs","HDFS_LOCATION")
spark.conf.set("yarn.nodemanager.remote-app-log-dir","HDFS_LOCATION")
spark.conf.set("spark.eventLog.enabled", "true")
spark.conf.set("spark.eventLog.dir", "HDFS_LOCATION")
spark.conf.set("spark.scheduler.mode", "FAIR")

当运行spark-submit时，我添加了以下选项：

--driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=$LOCATION/log4j.properties"

但是我遇到了以下异常：

Exception in thread "main" org.apache.spark.SparkException: Application

我无法在HDFS日志位置中找到任何日志。

请耐心等待代码。