关闭Spark 2.0 +的日志记录

Question

我确实遵循了这个现有的stackoverflow link，但是如果从源代码安装了Spark，那么接受的答案是有效的。

但是，我通过pyspark安装了pip，因此我无法找到conf/log4j.properties.template以暂停日志信息。

我在同一个链接中使用以下备用解决方案：

def quiet_logs( sc ):
  logger = sc._jvm.org.apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )

上述解决方案仍允许启动和关闭终端上Spark信息的日志，如果我能够更新conf/log4j.properties.template，则不会发生这种情况。

任何建议将不胜感激。

Answer 1

您可以在调用命令时覆盖pyspark的默认log4j配置，您无需修改​​全局文件。创建名为a且内容为

的文件

m

然后用：

开始pyspark

log4j-quiet.properties

从启动和关闭开始记录消息将会消失。