在我们的Spark应用程序中，我们在src / main / resources文件夹下有log4j.properties。
但提交申请时Spark并没有采取这种做法。
我们发现我们应该使用以下任一方法来覆盖SPARK_HOME / conf文件夹中Spark的默认log4j.properties。
spark-submit ... --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/tmp/log4j.properties" ...
或
spark-submit ... --files /tmp/log4j.properties#log4j.properties ...
有没有办法让JAR本身的src / main / resources文件夹中的log4j.properties覆盖Spark的默认文件？
提前致谢!!!