将pyspark数据帧输出重定向到日志文件

Question

我正在python 3.7 IDE中编写pyspark应用程序。我的应用程序将因此提供数据框。 我已经按如下配置了log4j属性

log4j.rootCategory=INFO, consoleAppender
log4j.appender.consoleAppender=org.apache.log4j.ConsoleAppender
log4j.appender.consoleAppender.target=System.out
log4j.appender.consoleAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.consoleAppender.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
log4j.rootLogger=INFO, FILE
log4j.appender.FILE=org.apache.log4j.DailyRollingFileAppender
log4j.appender.FILE.File=C:/Users/Srihari Venkatesan/Desktop/logfile.log
log4j.appender.FILE.ImmediateFlush=true 
log4j.appender.FILE.Append=true
log4j.appender.FILE.DatePattern='.' yyyy-MM-dd
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.conversionPattern=%m%n

当我使用以下命令在终端中提交我的Spark应用程序

spark-submit pyspark.py>logfile.txt 2>&1

它正在创建两个文件，一个带有输出，另一个带有日志。

任何人都可以帮助我使用shell脚本或spark-submit将输出文件和日志文件重定向到单个文件中。