我尝试使用文本文件中的流式传输来制作wordcount示例,问题是 word.print()没有显示结果,除了时间戳之外的其他任何东西
-------------------------------------------
Time: 1509542480000 ms
-------------------------------------------
我在应用程序运行时移动文件,路径正确到目标文件夹"单词",这里是我的代码
object StreamingWordCount {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Application").setMaster("local[*]")
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(5))
val lines = ssc.textFileStream("/home/cloudera/Desktop/words/")
val words = lines.flatMap(_.split(" ")).map(x => (x, 1)).reduceByKey(_ + _)
words.print()
ssc.start()
ssc.awaitTermination()
}
}
我在Cloudera环境,Spark 1.6,Scala 10.6