在java中每分钟运行数百个http请求

Question

我正在J2SE中开发一个应用程序，它会定期访问大量网站。 高意味着几百，并且通常意味着每分钟 - 因此，每分钟将有大约500个http请求。

我的问题是，我应该注意J2SE中是否有任何限制？例如，http请求池很差，我应该使用第三个pary应用程序，或者有某种缓冲区，这可能会减慢速度等等。

谢谢， krisy

Answer 1

你应该找到针对那种流量特别完成的http客户端库。我不认为内置函数适用于如此大量的请求。 Apache httpClient可能是候选者。

Answer 2

我所知道的关于java.net http客户端的限制是围绕身份验证（它可能很难扩展，并且在服务器环境中并不能真正发挥作用，在这种情况下需要使用可能不同的凭据来调用相同的URL），处理cookie，以及构建多部分帖子。

如果这些限制对你没有影响或者你发现它们很容易解决，我发现java.net客户端表现非常好。我还发现在尝试利用连接池时更容易使用，以便在多线程环境中利用http keep alive。正如另一个人所提到的，这特别是Apache http客户端的一个困难领域。