Question

在尝试此问题上显示的每个方法之后：How to suppress parquet log messages in Spark? 无与Spark 2.1一起使用 - 除了直接的工具方法禁用<{> 1}级以下所有日志记录。

WARN

这不是一种可接受的方法（我们的应用为原因 ...写了log4j.rootCategory=WARN, console条消息。

注意采用的第一个方法是添加

INFO

到log4j.logger.parquet=ERROR log4j.logger.org.apache.spark.sql.execution.datasources.parquet=ERROR log4j.logger.org.apache.spark.sql.execution.datasources.FileScanRDD=ERROR log4j.logger.org.apache.hadoop.io.compress.CodecPool=ERROR。这些没效果。另一种方法也包含在我的尝试中：

log4j.properties

将以下内容添加到jvm选项

org.apache.parquet.handlers=java.util.logging.ConsoleHandler
java.util.logging.ConsoleHandler.level=SEVERE

同样没有变化。

如果有人找到了一个神奇的-Dspark.driver.extraJavaOptions="-Djava.util.logging.config.file=/tmp/parquet.logging.properties" -Dspark.executor.extraJavaOptions="-Djava.util.logging.config.file=/tmp/parquet.logging.properties"按钮，请加入。

Answer 1

添加：

log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR

到你的log4j.properties文件

Spark 2.1上过多的拼花消息

1 个答案: