Spark文件流中的零输入速率

Question

我正在使用textFileStream来传输来自亚马逊s3的数据。它只为第一批输出提供输出。除此之外，Spark UI中的输入速率始终为零。我的问题类似于Spark Streaming: Input Rate and File stream [0] has "Avg: 0.00 events/sec" always

任何帮助都将不胜感激。

感谢。

Answer 1

EMR及其s3：//或Apache Spark和s3n / s3a客户端？

Answer 2

我见证了同样的行为。 我的猜测是UI将这些指标基于接收器，因为textFileStream实际上并不是由接收器返回的（ ＆＃34; file streams do not require running a receiver＆＃34; ），数字是（错误的）0。 这是有道理的，因为使用Kafka流时同样的行为是seen，而Kafka流也没有接收器支持。