我试图控制我的Spark日志使用 sc.setLogLevel(" ERROR&#34); 好像它在集群环境中不起作用。有人可以帮忙吗?
public static JavaSparkContext getSparkContext(String appName, SparkConf conf) {
SparkSession spark = getSparkSession(appName, conf);
JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());
sc.setLogLevel("WARN");
return sc;
}
答案 0 :(得分:2)
要配置日志级别,请将以下选项添加到spark submit命令:
' - conf" spark.driver.extraJavaOptions = -Dlog4j.configuration = custom-log4j.properties"'
' - conf" spark.executor.extraJavaOptions = -Dlog4j.configuration = custom-log4j.properties"'
这假设您在类路径上有一个名为custom-log4j.properties的文件。然后,log4j可以控制spark记录的详细程度。