我有一个Spark / Scala应用程序,这里的要求是在目录中查找文件 并处理它,最后清理该目录。
不可能像
这样在spark应用程序本身中执行此操作- Watching for a file in a directory
- When it finds the file continue the process
- Cleans up the directory before ending the app
- Repeat the above for the next new run and so on...
我们目前file-watching process
是使用外部应用程序执行的
因此为了删除该dependency
上的third-party application
我们想在我们的spark / scala应用程序本身中做到这一点。
是否存在仅将scala / spark用于文件查看器的可行解决方案? 请引导我。
答案 0 :(得分:0)