我一直以下面的方式提供自定义log4j属性以进行spark-submit:
spark-submit --master yarn --queue qqqq \
--driver-java-options "-Dlog4j.configuration=file:/absolute path/to properties file/driver-log4j.properties" \
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/absolute path/to properties file/executor-log4j.properties" \
--class com.abc.spark.def.MyClass myApp.jar arg1 arg2
Spark日志显示正在正确读取这些驱动程序和执行程序log4j属性。我能够看到写入驱动程序日志的应用程序日志,但执行程序日志中没有任何内容。