Spark流读取旧文件和新文件

时间:2019-03-08 22:10:30

标签: apache-spark hadoop hdfs spark-streaming

我正在尝试使用Spark Streaming读取文件。我正在使用textFileStream这样读取hdfs:

val logStream=ssc.textFileStream(args(0))

它能够获取创建的新文件,但在作业启动时不读取hdfs目录中已经存在的文件。有什么办法可以实现?

0 个答案:

没有答案