Spark Streaming:输入速率和文件流[0]始终具有“平均:0.00事件/秒”

时间:2015-12-10 06:46:25

标签: apache-spark spark-streaming

我使用spark 1.5.2运行,代码如下。它定期正确打印计数,但在火花流UI中,输入速率和文件流[0]始终具有“平均:0.00事件/秒”。

注意:每个文件都包含一行包含json字符串的行。我也尝试过每个包含多行的文件,但问题仍然存在。

enter image description here

object main {
    def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("test")
        val sc = new SparkContext(conf)
        val ssc = new StreamingContext(sc, Seconds(3))

        val dStream = ssc.textFileStream("srcDir")
        dStream.count().print()

        ssc.start()
        ssc.awaitTermination()
    }
}

0 个答案:

没有答案