运行Spring-Batch Partitioned作业时,一旦最终线程完成处理,该作业将异常终止(处于失败状态)。
似乎所有数据都在处理中...但是从春季开始作业状态为“失败”。
本质上,我正在尝试处理100GB的数据(1000个ZIP文件,每个文件包含约50000个文本文件),因此约50MIL个记录)。我的块大小为1k,核心池大小为50,最大为100。
该分区程序是一个MultiResourcePartitioner,并且
我尝试更改块大小,批次大小等。
在较小数量的ZIP上,这项工作看起来不错,但是在较高数量的ZIP(可能仅仅是因为线程数量更多)最后会炸毁...
hours
display