如何隐藏“py4j.java_gateway：在对象id p0上收到命令c”？

Question

在INFO级别启动日志记录后，我会在您的日志中获得大量{{1}}。我怎么能隐藏它？

Answer 1

使用logging模块运行：

logging.getLogger("py4j").setLevel(logging.ERROR)

Answer 2

控制 pyspark 和 py4j 日志记录的最佳方法是设置以下代码段：

import logging
logging.getLogger("py4j").setLevel(<pyspark-level>)
logging.getLogger('pyspark').setLevel(<py4j-level>)
logger = logging.getLogger('pyspark')

对于你的情况，你应该写：

import logging
logging.getLogger("py4j").setLevel(logging.INFO)
logging.getLogger('pyspark').setLevel(logging.ERROR)
logger = logging.getLogger('pyspark')