我使用httpclient抓取页面,但为什么它被阻止

时间:2012-04-06 10:16:41

标签: java httpclient

method = new GetMethod(strUrl);
log.info("Befor execueteMechod");
statusCode = client.executeMethod(method);
log.info("After execueteMechod");

我编写这个java代码来抓取网页,它在服务器上运行。几天之后,今天我发现爬行线被阻挡了,我很失望。从日志中我可以说它在 executeMethod 方法中被阻止了。有人能告诉我如何处理这个问题。

而且,它报告了两次504或503警告,当第三次破解此页面时,问题发生,线程被阻止,我不想要这个。

0 个答案:

没有答案