Spark Executor自定义日志

时间:2017-12-05 23:10:34

标签: scala apache-spark logging mapr

我一直以下面的方式提供自定义log4j属性以进行spark-submit:

spark-submit --master yarn --queue qqqq \
  --driver-java-options "-Dlog4j.configuration=file:/absolute path/to properties file/driver-log4j.properties" \
  --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/absolute path/to properties file/executor-log4j.properties" \
  --class com.abc.spark.def.MyClass myApp.jar arg1 arg2

Spark日志显示正在正确读取这些驱动程序和执行程序log4j属性。我能够看到写入驱动程序日志的应用程序日志,但执行程序日志中没有任何内容。

我已阅读thisthisthisthis。有没有人提前遇到过这个问题?如果有帮助,此代码将在MapR平台上运行。

0 个答案:

没有答案