Spark Streaming UI记录数看起来不正确

时间:2019-11-02 10:38:58

标签: apache-spark spark-streaming

我试图从Spark流中查找一些日志记录信息,我从查看UI开始,并且UI始终对所有流批次都说0条记录。这显然是不正确的,因为我可以看到它正常工作。我正在使用.textFileStream。

我正在本机中本地运行。我也可以在集群中尝试,但我怀疑这个特定结果会有所不同。

  val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
val ssc = new StreamingContext(conf, Seconds(20))
 val lines = ssc.textFileStream("wasbs://deadletters@deadlettertransactions.blob.core.windows.net/")

      val fullfilepath = "wasbs://newcontainer@deadlettertransactions.blob.core.windows.net/outputdata" 


      if(mydf.count() > 0)
         mydf.write.mode("append")
        .text(fullfilepath)
      }
    ssc.start()             // Start the computation
    ssc.awaitTermination()

我希望处理的记录大于0,但我只能看到0。请看所附的屏幕截图。

enter image description here

0 个答案:

没有答案