Spark：spark-submit不会采用自定义log4j.properties

Question

这可能是old post的重复，但这与Spark 1.3/4相关。我正在使用1.5.2。

我在我的胖罐子里打包log4j.properties。它在两种情况下显示不同的行为。在ubuntu machine 1上，我在用户目录中有火花。在类似machine 2上，我安装了系统。在计算机2上，默认log4j.properties位于：/etc/spark/conf/log4j.properties。

在machine 2上，fat-jar中的打包log4j.properties未加载，但它在machine 1上加载。我在两台机器上使用相同的命令：

spark-submit 
--master local[1]   
--class com.myCompany.myMainClass  myFat.jar

基于spark documentation，我可以通过外部提供来强有力地做到：

spark-submit 
--master local[1]
--driver-java-options "-Dlog4j.configuration=file:///mnt1/mohit/log4j.properties"
--class com.myCompany.myMainClass 
myFat.jar 

为什么行为会有所不同？如何让spark-submit使用打包文件？

Answer 1

您所指的文档适用于YARN，但您可以在本地模式下运行。

尝试按如下方式指定：

{{1}}