我试图从Spark流中查找一些日志记录信息,我从查看UI开始,并且UI始终对所有流批次都说0条记录。这显然是不正确的,因为我可以看到它正常工作。我正在使用.textFileStream。
我正在本机中本地运行。我也可以在集群中尝试,但我怀疑这个特定结果会有所不同。
val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
val ssc = new StreamingContext(conf, Seconds(20))
val lines = ssc.textFileStream("wasbs://deadletters@deadlettertransactions.blob.core.windows.net/")
val fullfilepath = "wasbs://newcontainer@deadlettertransactions.blob.core.windows.net/outputdata"
if(mydf.count() > 0)
mydf.write.mode("append")
.text(fullfilepath)
}
ssc.start() // Start the computation
ssc.awaitTermination()
我希望处理的记录大于0,但我只能看到0。请看所附的屏幕截图。