将Spark驱动程序日志重定向到控制台而不是stderr文件

时间:2019-06-26 12:36:50

标签: java scala apache-spark

我正在kubernetis容器中运行spark master和worker。我正在使用java(scala)进行求职.Spark worker在conf文件夹中具有log4j.properties.template文件,如下所示。在此指定控制台Appender。现在,所有工作日志都重定向到控制台,但是所有驱动程序日志都重定向到工作文件夹中的stderr文件。在驱动程序应用程序jar中,我使用了控制台附加程序。

# Set everything to be logged to the console
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p 
%c{1}: %m%n

任何人都可以帮助我将驱动程序日志重定向到控制台而不是sterr文件

0 个答案:

没有答案