Spring批处理用于处理大型处理csv文件

Question

我有一个5GB的CSV文件，我试图用Spring Batch处理（读取，处理，将数据发布到JMS）。最好的方法是什么，请记住，不要将文件拆分成较小的文件，并且必须处理所有记录？ Spring Batch是否能够在从源流式传输数据时处理和写入数据？有没有办法告诉Spring Batch从文件读取X行，处理和写入（提交），然后从文件中抓取下一行X行，同时跟踪它已处理的行

请帮我解决这个问题。

Answer 1

是。这是弹簧批次的基本特征。为此使用commit-interval。 建议在这里阅读全部细节。

https://docs.spring.io/spring-batch/trunk/reference/html/configureStep.html