用于实时数据处理的spring批量远程分块

时间:2015-08-12 14:25:32

标签: spring-integration spring-batch

我们必须在6-7小时内处理大约200万条记录,并且所有这些记录都不能立即获得。它实时出现在1000或2000批次中。我正在考虑使用Spring批量远程分块,因为在我们的案例中,瓶颈正在处理那些单独的记录。阅读它们的速度非常快,我们也不必一共阅读所有200万个。

我们的目标是尽快处理这些1000或2000条记录,以便其他系统可以在等待它们时使用它。

我的问题是

  1. 使用spring integration jdbc poller来读取那些带有多个slave的远程分块的1000条记录并启动spring批处理作业是不是一个好主意?
  2. 是否有关于远程分块的示例项目?

0 个答案:

没有答案