我使用spark 1.5.2运行,代码如下。它定期正确打印计数,但在火花流UI中,输入速率和文件流[0]始终具有“平均:0.00事件/秒”。
注意:每个文件都包含一行包含json字符串的行。我也尝试过每个包含多行的文件,但问题仍然存在。
object main {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("test")
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(3))
val dStream = ssc.textFileStream("srcDir")
dStream.count().print()
ssc.start()
ssc.awaitTermination()
}
}