我如何抑制logLevel
成为Pyspark Submit命令中的错误。
我在下面的.py
脚本中尝试过,但它仍会生成所有警告日志。我在Python 2.6.6
上使用Spark v2.2.0
,请告知
from pyspark.sql import SparkSession
import re,sys
spark = SparkSession.builder.appName('Basics').enableHiveSupport().getOrCreate()
spark.sparkContext.setLogLevel("ERROR")