SparkStreaming textFileStreaming不提供输出

时间:2017-11-01 13:37:13

标签: scala apache-spark spark-streaming cloudera

我尝试使用文本文件中的流式传输来制作wordcount示例,问题是 word.print()没有显示结果,除了时间戳之外的其他任何东西

-------------------------------------------
Time: 1509542480000 ms
-------------------------------------------

我在应用程序运行时移动文件,路径正确到目标文件夹"单词",这里是我的代码

object StreamingWordCount {

def main(args: Array[String]) {

   val conf = new SparkConf().setAppName("Application").setMaster("local[*]")
   val sc = new SparkContext(conf)
   val ssc = new StreamingContext(sc, Seconds(5))
   val lines = ssc.textFileStream("/home/cloudera/Desktop/words/")

val words = lines.flatMap(_.split(" ")).map(x => (x, 1)).reduceByKey(_ + _)
    words.print()

   ssc.start()
   ssc.awaitTermination()
  }

  }

我在Cloudera环境,Spark 1.6,Scala 10.6

0 个答案:

没有答案