如何在Spark Streaming中从hdfs读取更新的文件

Question

我正在运行spark流，并且正在从hdfs位置读取一个文件。同一文件由不同的服务更新。现在，我想在Spark Stream中读取更新的文件。我该如何实现？

Answer 1

您尝试了吗？

streamingContext.fileStream[KeyClass, ValueClass, InputFormatClass](dataDirectory)
// or
streamingContext.textFileStream(dataDirectory) // for text file

https://spark.apache.org/docs/latest/streaming-programming-guide.html