如何修复Spring Batch分区作业终止-线程的最终块错误

时间:2019-07-09 21:17:26

标签: java spring spring-batch

运行Spring-Batch Partitioned作业时,一旦最终线程完成处理,该作业将异常终止(处于失败状态)。

似乎所有数据都在处理中...但是从春季开始作业状态为“失败”。

本质上,我正在尝试处理100GB的数据(1000个ZIP文件,每个文件包含约50000个文本文件),因此约50MIL个记录)。我的块大小为1k,核心池大小为50,最大为100。

该分区程序是一个MultiResourcePartitioner,并且

我尝试更改块大小,批次大小等。

在较小数量的ZIP上,这项工作看起来不错,但是在较高数量的ZIP(可能仅仅是因为线程数量更多)最后会炸毁...

hours
display

0 个答案:

没有答案