在Java中每秒执行许多http请求的有效方法

Question

我正在使用webcrawler。可以执行许多请求（例如，每秒500-1000），而不是每个请求都有创建线程（我不是指线程池，重用等等）？

Answer 1

我认为你想要的是一个线程可以同时处理n个请求。

现在这意味着交错处理2个线程的步骤。只有在存在某些“阻塞”操作时才有意义。

现在，有人可能会说，是的，我们会阻止。所以我想要的是

1. 提出请求1，我正在等待回复
2. 在等待请求时发起请求2响应即将响应。
3. 获取请求1的回复并进行处理
4. 获取请求2的回复并进行处理。

只有当HTTP是“异步”时才有可能。不幸的是它不是。 （好的阅读 - ＆gt; http://wiki.answers.com/Q/Why_http_is_asynchronous） 有一些“异步”HTTP客户端可以执行浏览器中的AJAX操作。

它允许启动呼叫的线程继续。响应在回叫中提供。

事实是，他们有一个线程池，可以同步处理这些调用。只有它看起来是异步的。

Exampe：

http://hc.apache.org/httpcomponents-asyncclient-dev/index.html