解决方案

Question

我正在创建一个（表现良好的）网络蜘蛛，我注意到有些服务器导致Apache HttpClient给我一个SocketException - 具体来说：

java.net.SocketException: Connection reset

导致此问题的代码是：

// Execute the request
HttpResponse response; 
try {
    response = httpclient.execute(httpget); //httpclient is of type HttpClient
} catch (NullPointerException e) {
    return;//deep down in apache http sometimes throws a null pointer...  
}

对于大多数服务器来说，它很好。但对于其他人来说，它会立即引发SocketException。

导致立即发生SocketException的网站示例：http://www.bhphotovideo.com/

效果很好（和大多数网站一样）：http://www.google.com/

现在，正如您所见，www.bhphotovideo.com在网络浏览器中加载正常。当我不使用Apache的HTTP客户端时，它也可以正常加载。（代码如下：）

 HttpURLConnection c = (HttpURLConnection)url.openConnection();  
 BufferedInputStream in = new BufferedInputStream(c.getInputStream());  
 Reader r = new InputStreamReader(in);     

 int i;  
 while ((i = r.read()) != -1) {  
      source.append((char) i);  
 }

那么，为什么我不只是使用这个代码呢？那么我需要使用Apache的HTTP客户端中的一些关键功能。

有谁知道是什么原因导致某些服务器导致此异常？

到目前为止的研究：

我的本地Mac dev机器和AWS EC2实例出现问题，因此它不是本地防火墙。
似乎错误不是由远程计算机引起的，因为异常没有说“by peer”
这个堆栈溢出似乎是相关的java.net.SocketException: Connection reset但是答案并没有说明为什么这只会从Apache HTTP Client发生，而不是其他方法。

奖金问题：我正在用这个系统进行大量的爬行。除了Apache HTTP Client之外，通常还有更好的Java类吗？我发现了一些问题（例如我必须在上面的代码中捕获的NullPointerException）。似乎HTTPClient对服务器通信非常挑剔 - 对于爬行程序而言，它更加挑剔，这种爬行程序在服务器不起作用时不会中断。

谢谢大家！

解决方案

老实说，我没有一个完美的解决方案，但它确实有效，所以这对我来说已经足够了。

正如下面的oleg所指出的，Bixo已经创建了一个爬虫程序，可以自定义HttpClient以更加宽容服务器。为了“解决”这个问题而不是修复它，我刚刚在这里使用了Bixo提供的SimpleHttpFetcher：（链接删除 - SO认为我是垃圾邮件发送者，所以你必须自己谷歌）

SimpleHttpFetcher fetch = new SimpleHttpFetcher(new UserAgent("botname","contact@yourcompany.com","ENTER URL"));
try {
    FetchedResult result = fetch.fetch("ENTER URL");
    System.out.println(new String(result.getContent()));
} catch (BaseFetchException e) {
    e.printStackTrace();
}

这个解决方案的缺点是Bixo有很多依赖关系 - 所以这对每个人来说可能都不是一个好的工作。但是，您可以随时使用DefaultHttpClient，并查看它们如何实例化它以使其工作。我决定使用全班，因为它为我处理了一些事情，比如自动重定向跟随（并报告最终目标网址），这是有帮助的。

感谢所有人的帮助。

编辑：TinyBixo

大家好。所以，我喜欢Bixo如何工作，但不喜欢它有如此多的依赖（包括所有的Hadoop）。所以，我创建了一个非常简化的Bixo，没有所有依赖项。如果您遇到上述问题，我建议您使用它（如果您想更新它，请随时提出拉取请求！）

可在此处找到：https://github.com/juliuss/TinyBixo

Answer 1

首先，回答你的问题：

连接重置是由服务器端的问题引起的。很可能服务器无法解析请求或无法处理它并因此丢弃连接而不返回有效响应。 HttpClient生成的HTTP请求可能会导致服务器端逻辑失败，这可能是由于服务器端错误造成的。仅仅因为错误消息没有说“by peer”并不意味着连接重置发生在客户端。

一些评论：

（1）bixo http://openbixo.org/等几个流行的网络抓取工具使用HttpClient时没有出现重大问题，但是他们中的很多人不得不调整HttpClient行为，使其对常见的HTTP协议违规行为更加宽容。默认情况下，HttpClient对HTTP协议的合规性非常严格。

（2）为什么不向HttpClient项目报告NPE问题或您遇到的任何其他问题？

Answer 2

These two settings有时会有所帮助：

 client.getParams().setParameter("http.socket.timeout", new Integer(0));
 client.getParams().setParameter("http.connection.stalecheck", new  Boolean(true));

第一个将套接字超时设置为无限。

Answer 3

尝试使用wireshark获取网络跟踪，并使用HTTPClient的log4j日志记录扩充它。这应该表明重置连接的原因

Apache HTTPClient抛出java.net.SocketException：许多域的连接重置

解决方案

编辑：TinyBixo

3 个答案: