如何在Python中避免控制台日志信息？

Question

我正在使用＆＃39; pyspark ＆＃39;打包初始化spark上下文，当我这样做时，我可以看到很多日志信息显示。是否有任何选项/命令可以避免这种情况？

代码段：

from pyspark import SparkContext, SparkConf;
from pyspark.sql import SQLContext;
conf = SparkConf().setAppName("test").setMaster("local")
sc = SparkContext(conf=conf)

提前致谢：）

Answer 1

Answer courtesy of user AkhlD：

编辑您的conf / log4j.properties文件并更改以下行：

   log4j.rootCategory=INFO, console

到

    log4j.rootCategory=ERROR, console

另一种方法是：

Fireup spark-shell并输入以下内容：

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

之后你不会看到任何日志。