将“仅复制到0个对等体而不是1个对等体”静音“在本地模式下的Spark Streaming中进行警告”

Question

在本地模式下运行时，是否有办法将“仅复制到0个对等体而不是1个对等体”静音“Spark Streaming？”

Answer 1

更改

log4j.rootCategory=WARN, console

到

log4j.rootCategory=ERROR, console

log4j.properties中的

Answer 2

尽管这是一个旧问题，已经有了预期的答案，它将起作用，它将抑制除 ERROR 之外的所有log4j日志。

仅显示存储日志的更精确的方法是将org.apache.spark.storage的记录器设置为 ERROR 。

Logger.getLogger("org.apache.spark.storage").setLevel(Level.ERROR)

或者在Log4J配置的情况下：

log4j.org.apache.spark.storage=ERROR, consoleAppender