无法在本地或HDFS上使用log4j2在jar上创建日志文件,同时在yarn上放置spark submit命令

时间:2018-04-22 08:49:58

标签: linux apache-spark yarn

我使用maven构建了一个jar并在spark submit命令中执行,我想使用log4j2在一个单独的文件中生成jar的日志,所以将log4j2.xml放在jar的resources文件夹中,并将log4j2.xml放在中 - -files classpath ,我在log4j2.xml文件中提供本地路径或HDFS路径,但无法在本地或HDFS上生成日志文件。 我使用 YARN

运行此操作

在spark的Info日志中,写入log4j2.xml的本地和目标相同。 之后,没有生成日志文件。

log4j2.xml

<appender name="R" class="org.apache.log4j.RollingFileAppender"> 
    <param name="file" value="/projects/example.log"/>
    <param name="MaxFileSize" value="100KB"/>
    <!-- Keep one backup file -->
    <param name="MaxBackupIndex" value="1"/>
    <layout class="org.apache.log4j.PatternLayout"> 
      <param name="ConversionPattern" value="%p %t %c - %m%n"/> 
    </layout> 
  </appender> 

0 个答案:

没有答案