从DStream中提取触发处理的文件名

时间:2019-04-18 10:42:49

标签: java scala apache-spark spark-streaming

我正在使用textFileStream处理进入目录的文件。是否可以提取文件名,从而触发处理?

例如,当文件 2019-04-18_very_important.txt 进入我听的目录时,我希望能够提取该文件的名称。

context
    .textFileStream("/path/to/directory")
    .transform(rdd -> /** How can I get '2019-04-18_very_important.txt' here? **/)
...

0 个答案:

没有答案