标签： apache-spark spark-dataframe
SparkListenerTaskEnd提供了获取TaskMetrics的val。反过来，TaskMetrics也可以访问各种指标。当我尝试使用TaskMetrics的InputMetrics来获取读取的字节时，我始终看到0，即使我正在从hdfs读取数据。我使用自定义来源（不是parquet或avro）将数据输入Dataframe。
hdfs
parquet
avro
Dataframe
这里有什么我想念的吗？是否无法监控为该特定任务读取的数据量？
VK