Spring Batch从属步骤无限执行,导致分区作业等待更新状态

时间:2018-12-20 08:07:01

标签: spring-batch

我有带有spring boot应用程序的spring-batch,可以处理60-70百万个数据。应用程序是为使用Spring批处理分区而构建的。我需要从文件中读取客户ID,然后从Redis和Oarcle DB中读取一些参考数据,并应用一些业务逻辑并写入PG DB。 应用程序按预期工作,我们所有的系统测试均已完成。但是,当我们进行PT测试时,我们发现很少有从属步骤挂在随机位置(与文件或行号不一致)。 Step_execution表的版本保持递增,但没有数据处理。我已经尝试在50-1000个分区之间使用5-25百万个数据。仅对于具有36个分区的100万个,我就能获得所有从属和分区步骤的完成状态。挂一些从属步骤的原因可能是什么?如果我重新运行,则作业问题不一致,就像始终不是同一文件(从属文件)挂起一样。

0 个答案:

没有答案