在批处理输出中处理大型数据集

时间:2019-02-20 15:33:06

标签: spring-batch

我有一个用例,对于每个输入记录(由Itemreader返回),处理器将产生数百万行(庞大的数据集),需要将其保存在数据库表中

我试图处理ItemWriter中的所有插入内容,但是在该步骤到达ItemWriter之前,我的内存不足。我的工作只有一步之遥

在春季批处理步骤中如何处理大型数据集的持久性?

注意:本地分块是我无法在此处使用的输入,只有一条记录失败了

0 个答案:

没有答案