Spring httpClient尽可能快地进行IO爬网

时间:2019-12-05 15:09:58

标签: spring httpclient spring-webflux reactive

比方说,我的列表网址包含网页的绝对网址。 我想尽可能快地抓取这些页面=在我的网络允许的范围内尽快抓取。 我不想超时太多,我想根据当前网络吞吐量调整速度-因此可能我需要背压机制。 成功的话,我想制作System.out.println(body)。

我找不到任何好的示例。您能帮我解决这部分代码吗?

0 个答案:

没有答案