我们目前正在开发一个从文件系统/ ftp / http读取文件的应用程序,并将此文件上传到mongodb。之后我们想分析这些文件并在mongodb中编写分析文档。 此过程的要求:
如何在Spring XD中正确组织此过程?在什么情况下我们应该使用流或批处理作业? 如果有人能说出使用流而不是批处理作业的最佳实践,反之亦然,非常感谢。
答案 0 :(得分:0)
根据我的经验,对于实时上传,分析和存储(在你的情况下是mongodb),最好的方法是使用流。原因是你真的不想在几分钟/小时内运行多少次就开始和处理工作等等......
重新启动和故障处理应由您决定,您需要编写脚本以在失败时重新部署流和作业。
可以使用作业进行重新分析,因为它在特定时间内完成