Question

我试图控制我的Spark日志使用 sc.setLogLevel（＆＃34; ERROR＆＃34）; 好像它在集群环境中不起作用。有人可以帮忙吗？

public static JavaSparkContext getSparkContext(String appName, SparkConf conf) {
    SparkSession spark = getSparkSession(appName, conf);
    JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());
    sc.setLogLevel("WARN");
    return sc;
}

Answer 1

要配置日志级别，请将以下选项添加到spark submit命令：

＆＃39; - conf＆＃34; spark.driver.extraJavaOptions = -Dlog4j.configuration = custom-log4j.properties＆＃34;＆＃39;

＆＃39; - conf＆＃34; spark.executor.extraJavaOptions = -Dlog4j.configuration = custom-log4j.properties＆＃34;＆＃39;

这假设您在类路径上有一个名为custom-log4j.properties的文件。然后，log4j可以控制spark记录的详细程度。

SparkContext.setLogLevel（＆＃34; DEBUG＆＃34;）在群集

1 个答案: