method = new GetMethod(strUrl);
log.info("Befor execueteMechod");
statusCode = client.executeMethod(method);
log.info("After execueteMechod");
我编写这个java代码来抓取网页,它在服务器上运行。几天之后,今天我发现爬行线被阻挡了,我很失望。从日志中我可以说它在 executeMethod 方法中被阻止了。有人能告诉我如何处理这个问题。
而且,它报告了两次504或503警告,当第三次破解此页面时,问题发生,线程被阻止,我不想要这个。