我已经编辑了log4j.properties文件以设置log4j.rootCategory=INFO, console并且日志记录已在spark-shell中停止，但它在pyspark中是不间断的。
以下代码在pyspark中为我工作。但是每次打开pyspark控制台时我都需要设置它。
logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org").setLevel( logger.Level.OFF )
logger.LogManager.getLogger("akka").setLevel( logger.Level.OFF )
我正在寻找针对此问题的永久性修复，并希望了解当spark-shell不是时，pyspark单独如何获取默认属性。我已经检查了this线程但找不到解决方案。
答案 0 :(得分：0)
这对我有用：
sc.setLogLevel("OFF")
这意味着您需要使用spark上下文对象设置日志级别OFF。