Spark log4j配置 - 文件

Question

我将作业提交给许多人共享的群集，并希望更改一些日志记录配置。由于它被很多人共享，因此更改群集上的日志级别显然是不可选的，因此我尝试通过spark-submit提交我的log.properties文件。

根据文件： upload a custom log4j.properties using spark-submit, by adding it to the --files list of files to be uploaded with the application.

我这样做了，但是，工作人员仍然使用默认的log4j属性，每个日志行：Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties。但是，我确实看到log4j.properties文件已正确复制到/data/spark/work-dir/<app-id>/<worker-id>/log4j.properties的工作计算机上。如何让spark worker实际使用这个log4j.properties文件？

供参考：

• Spark 1.5.1
• 默认部署模式（客户端）
• 我也试过在`park.executor.extraJavaOptions = -Dlog4j.configuration上设置路径，但没有运气
• 在驱动程序上记录正常，看起来只是我遇到问题的工人。

类似的帖子：How to override Spark's log4j.properties per driver?。但是我在conf /下没有log4j.properties文件，这似乎是那里的解决方案。