Question

我试图准确确定Logger在我的apache spark logging中对以下几种行负责：

[Stage 5:======>                                                 (24 + 1) / 200]
[Stage 5:==========>                                             (38 + 1) / 200]
[Stage 5:==============>                                         (51 + 1) / 200]
[Stage 5:==================>                                     (66 + 1) / 200]
[Stage 5:======================>                                 (80 + 1) / 200]
[Stage 5:==========================>                             (95 + 1) / 200]

到目前为止，我已经在我的log4j2.xml中设置了以下内容，它已经关闭了很多，但不是上面的行！ =）

    <AsyncLogger name="org.apache.spark" level="ERROR"/>
    <AsyncLogger name="akka" level="ERROR"/>
    <AsyncLogger name="org.spark-project" level="ERROR"/>
    <AsyncLogger name="org.apache.hadoop" level="ERROR"/>
    <AsyncLogger name="org.quartz" level="WARN"/>
    <AsyncLogger name="Remoting" level="ERROR"/>
    <AsyncLogger name="com.esotericsoftware" level="ERROR"/>
    <AsyncLogger name="com.databricks" level="ERROR"/>

任何人都知道如何通过定位特定记录器来关闭上述神秘记录，就像我上面为其他记录器做的那样？

下面回答，但我想为这个答案的Java特定实现添加这个位：

 new JavaSparkContext(new SparkConf().set("spark.ui.showConsoleProgress", "false"))

Answer 1

试试 spark.ui.showConsoleProgress = false 。

请查看此Spark票证SPARK-4017

运行Apache spark时[Stage X：...]记录行在哪里？

1 个答案: