目录上的FileWatcher

时间:2019-03-20 21:21:49

标签: scala apache-spark

我有一个Spark / Scala应用程序,这里的要求是在目录中查找文件 并处理它,最后清理该目录。

不可能像

这样在spark应用程序本身中执行此操作
- Watching for a file in a directory
- When it finds the file continue the process 
- Cleans up the directory before ending the app
- Repeat the above for the next new run and so on...

我们目前file-watching process是使用外部应用程序执行的 因此为了删除该dependency上的third-party application 我们想在我们的spark / scala应用程序本身中做到这一点。

是否存在仅将scala / spark用于文件查看器的可行解决方案? 请引导我。

1 个答案:

答案 0 :(得分:0)