弹出批量远程分区，用于大输入文件

Question

我们正在使用spring batch和spring集成实现远程分区作业。对于这项工作，我们得到一个大文件，我们使用unix命令拆分该文件，我们正在使用这些文件运行批处理。有没有办法我可以为大文件编写自定义分区逻辑而不拆分文件。请帮助别人..

提前致谢。

-MK

Answer 1

Spring Batch（BATCH-1613和相关pull request）存在Jira问题，以支持多线程文件读取。但是，我们发现的问题是拥有多个线程的好处是非常环保的。在典型的环境中，您最终无法使用单个文件足够快地从磁盘上获取数据，以使所有分区保持忙碌状态。以前链接的拉取请求在我通过单个线程读取单个文件进行测试时没有看到任何好处，这就是为什么它没有合并（即使作者能够提供显示其环境速度提高的统计数据） ）。

如果链接代码对您有利，请随时使用。但是，在将其合并到框架本身之前，我想确保在更多环境中可以实现这些好处（或者至少能够更加具体地理解它获得好处的要求，以便将其记录下来）。

如果您找到适合自己的东西（根据链接的代码或其他内容），我们非常喜欢拉取请求！