Spring批处理作业可并行处理动态文件集

Question

我正在尝试设计一个Spring批处理作业，我希望平行处理一组动态文件。批处理作业本身启动时的含义是，要处理的文件数量未知 - 文件是动态可用的。当新文件到达时，作业应该运行并继续并行处理文件，直到它处理完所有文件为止。

我已经完成了弹簧批量项目页面，从我的理解看起来像多线程步骤适合我的情况。但我不确定的是它是否可以支持要处理的文件的动态可用性？

任何输入都将受到高度赞赏。 感谢致敬， 普里亚

Answer 1

你有几个选择：

1. MultiResourceItemReader - 此ItemReader将ItemWriter包裹起来FlatFileItemReader，并循环显示通过表达式提供的资源。
2. 分区 - 此选项更适合并行处理文件。使用MultiResourcePartitioner，您可以与Spring Batch通常获得的所有可重启性等功能并行执行文件。

您可以在此处的文档中阅读有关分区的更多信息：http://docs.spring.io/spring-batch/trunk/reference/html/scalability.html