如何在Sparkjob中设置logelevel

时间:2019-11-01 15:20:20

标签: pyspark

我如何抑制logLevel成为Pyspark Submit命令中的错误。 我在下面的.py脚本中尝试过,但它仍会生成所有警告日志。我在Python 2.6.6上使用Spark v2.2.0,请告知

from pyspark.sql import SparkSession
import re,sys

spark = SparkSession.builder.appName('Basics').enableHiveSupport().getOrCreate()
spark.sparkContext.setLogLevel("ERROR")

0 个答案:

没有答案