Question

有一段时间，我一直在多线程环境中使用HttpClient。对于每个线程，当它启动连接时，它将创建一个全新的HttpClient实例。

最近，我发现通过使用这种方法，它可能导致用户打开太多端口，并且大多数连接都处于TIME_WAIT状态。

http://www.opensubscriber.com/message/commons-httpclient-dev@jakarta.apache.org/86045.html

因此，而不是每个线程做：

HttpClient c = new HttpClient();
try {
    c.executeMethod(method);
}
catch(...) {
}
finally {
    method.releaseConnection();
}

我们计划：

[方法A]

// global_c is initialized once through
// HttpClient global_c = new HttpClient(new MultiThreadedHttpConnectionManager());

try {
    global_c.executeMethod(method);
}
catch(...) {
}
finally {
    method.releaseConnection();
}

在正常情况下，global_c将同时由50个++线程访问。我想知道，这会产生任何性能问题吗？ MultiThreadedHttpConnectionManager是否使用无锁机制来实现其线程安全策略？

如果10个线程正在使用global_c，那么其他40个线程是否会被锁定？

或者，如果在每个线程中我创建一个HttpClient实例，但是显式释放连接管理器会不会更好？

[方法B]

MultiThreadedHttpConnectionManager connman = new MultiThreadedHttpConnectionManager();
HttpClient c = new HttpClient(connman);
try {
      c.executeMethod(method);
}
catch(...) {
}
finally {
    method.releaseConnection();
    connman.shutdown();
}

connman.shutdown（）会遇到性能问题吗？

对于使用50 ++线程的应用程序，我可以知道哪种方法（A或B）更好吗？

Answer 1

绝对是方法A因为它的池和线程安全。

如果您使用的是httpclient 4.x，则连接管理器称为 ThreadSafeClientConnManager 。有关详细信息，请参阅此link（向下滚动到“池化连接管理器”）。例如：

    HttpParams params = new BasicHttpParams();
    SchemeRegistry registry = new SchemeRegistry();
    registry.register(new Scheme("http", PlainSocketFactory.getSocketFactory(), 80));
    ClientConnectionManager cm = new ThreadSafeClientConnManager(params, registry);
    HttpClient client = new DefaultHttpClient(cm, params);

Answer 2

httpclient开发者社区推荐使用方法A.

请参阅http://www.mail-archive.com/httpclient-users@hc.apache.org/msg02455.html了解详情。

Answer 3

我对文档的阅读是HttpConnection本身不被视为线程安全，因此MultiThreadedHttpConnectionManager提供了一个可重用的HttpConnections池，你有一个由所有线程共享的单个MultiThreadedHttpConnectionManager并初始化一次。因此，您需要对选项A进行一些小改进。

MultiThreadedHttpConnectionManager connman = new MultiThreadedHttpConnectionManag

然后每个线程应该为每个请求使用序列，从池中获取连接并在完成其工作时将其重新放置 - 使用finally块可能是好的。您还应该编写池没有可用连接并处理超时异常的可能性。

HttpConnection connection = null
try {
    connection = connman.getConnectionWithTimeout(
                        HostConfiguration hostConfiguration, long timeout) 
    // work
} catch (/*etc*/) {/*etc*/} finally{
    if ( connection != null )
        connman.releaseConnection(connection);
}

当您使用连接池时，您实际上不会关闭连接，因此不应该遇到TIME_WAIT问题。这种方法确实可以确保每个线程不会长时间挂起连接。请注意，conman本身是敞开的。

Answer 4

我想你会想要使用ThreadSafeClientConnManager。

您可以在此处查看其工作原理：http://foo.jasonhudgins.com/2009/08/http-connection-reuse-in-android.html

或在内部使用它的AndroidHttpClient。

Answer 5

使用HttpClient 4.5，您可以这样做：

CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(new PoolingHttpClientConnectionManager()).build();

请注意，这个实现了Closeable（用于关闭连接管理器）。

在多线程环境中使用HttpClient的最佳实践

5 个答案: