我无法理解如何配置SpringBatch以使用非阻塞HTTP资源。
在我长期运行的完美并行逻辑中,所有系统都被阻塞在我的8核客户端应用程序的线程池的大小上。客户端和服务器群集都没有任何可观的CPU或内存使用量,并且在客户端上,所有线程都在一个阻塞HTTP请求上被阻止。
我的目标是使用Jetty9的非阻塞HttpClient替换阻塞HTTP请求和非阻塞请求,但我不知道如何配置SpringBatch。数据集很大,每次迭代可能会产生2-3百万个请求,每个请求需要200毫秒才能完成。凭借我的球场数据,单线程需要111小时,天线14小时,有8个线程。
不幸的是,我不能简单地放入非阻塞HTTP调用,因为SpringBoot只会在检索到足够数据之前开始执行下一步。另外,我不想只扩展线程池,因为这只会导致更多的线程被阻塞。
有没有人有关于我应该如何进行的建议或示例。