在哪里可以看到Spark中的任务指标

Question

我有一个简单的Spark代码，我想查看在Spark Web UI上读取了多少条记录的指标，但是我没有发现指标显示在spark ui或http://localhost:4040/metrics/json中，

我会问我在哪里可以找到指标，谢谢，我使用的是Spark 2.3.0

test("task metrics") {
    val spark = SparkSession
      .builder
      .appName("task metrics")
      .master("local[*]")
      .getOrCreate()

    spark.sparkContext.parallelize(1 to 100, 100).mapPartitions(iter => {
      //The metrics I want to see
      val metrics = TaskContext.get().taskMetrics().inputMetrics
      while (iter.hasNext) {
        metrics.incRecordsRead(1)
        iter.next()
      }
      Iterator.empty
    }).count()

    println("job is done")

    Thread.sleep(10*60*1000)

  }

Answer 1

尝试http://localhost:4040/jobs。单击作业，您将看到输入列。它显示以字节为单位的输入读取大小。如果您在读取输入的适当阶段上进一步单击，则名称为“输入大小/记录”的列将显示输入的大小以及读取的记录数。