我想从工人，主人和工作（执行者，提交，不知道如何调用它）中获得单独的日志文件。我在log4j.properties中尝试过配置
log4j.appender.myAppender.File=/some/log/dir/${log4j.myAppender.FileName}
而不是在log4j.myAppender.FileName，SPARK_MASTER_OPTS，SPARK_WORKER_OPTS和spark.executor.extraJavaOptions中传递spark.driver.extraJavaOptions。
它与工人和主人完美配合，但与执行人员和司机失败。以下是我如何使用这些的示例：
./spark-submit ... --conf "\"spark.executor.extraJavaOptions=log4j.myAppender.FileName=myFileName some.other.option=foo\"" ...
我还尝试在log4j.myAppender.FileName中添加spark-defaults.conf一些默认值，但它也不起作用。
有没有办法达到我想要的目的？
答案 0 :(得分：2)
conf/spark-defaults.conf可以通过添加这些条目（来自我的Windows配置）来配置执行程序和驱动程序的日志记录
spark.driver.extraJavaOptions -Dlog4j.configuration=file:C:/dev/programs/spark-1.2.0/conf/log4j-driver.properties
spark.executor.extraJavaOptions -Dlog4j.configuration=file:C:/dev/programs/spark-1.2.0/conf/log4j-executor.properties
请注意，上面的每个条目都引用了不同的log4j.properties文件，因此您可以单独配置它们。