如何配置Spring Batch以使用非阻塞HTTP资源

时间:2018-03-30 15:34:05

标签: java spring-batch nonblocking jetty-9

我无法理解如何配置SpringBatch以使用非阻塞HTTP资源。

在我长期运行的完美并行逻辑中,所有系统都被阻塞在我的8核客户端应用程序的线程池的大小上。客户端和服务器群集都没有任何可观的CPU或内存使用量,并且在客户端上,所有线程都在一个阻塞HTTP请求上被阻止。

我的目标是使用Jetty9的非阻塞HttpClient替换阻塞HTTP请求和非阻塞请求,但我不知道如何配置SpringBatch。数据集很大,每次迭代可能会产生2-3百万个请求,每个请求需要200毫秒才能完成。凭借我的球场数据,单线程需要111小时,天线14小时,有8个线程。

不幸的是,我不能简单地放入非阻塞HTTP调用,因为SpringBoot只会在检索到足够数据之前开始执行下一步。另外,我不想只扩展线程池,因为这只会导致更多的线程被阻塞。

有没有人有关于我应该如何进行的建议或示例。

0 个答案:

没有答案