从spark streaming中读取新的s3文件路径

Question

我想使用spark streaming监视s3目录并返回添加到该目录的任何新文件的路径。 textFileStream和fileStream似乎都无法做到这一点。有没有办法完成我想做的事情？

编辑：Spark ver。 2.1.0

Answer 1

它使用s3a：//执行此操作;我有测试证明它。

1. 设置一个足够大的窗口来处理扫描目录的延迟，并清理它。
2. 你可以直接写到目的地＆＃34;目录＆＃34 ;;无需编写然后重命名。如果你这样做：文件被复制并拿起窗口。
3. 不要尝试检查点