验证来自cURL的完整响应

时间:2013-04-12 15:51:26

标签: php curl web-scraping

有时在我的PHP脚本中使用多个并发连接并使用cURL进行抓取时,会返回不完整的网页。 curl_getinfo()中是否有一些值可以让我知道网页是100%被抓取而只有90%被提取?

返回页面的content-size标题是返回的实际大小还是整个页面?如果是这样,我可以根据响应的实际大小来检查内容大小。

谢谢!

1 个答案:

答案 0 :(得分:1)

假设您的问题是您是否可以检查内容大小标头是来自另一方还是计算在您身边,是的,您可以使用该标头检查您是否收到了完整的响应,因为它是在实际预期内容的另一面。但有一些事情:

  • 它是Content-Length,而不是Content-Size;
  • 您可以使用它,只要您信任另一方正确设置它;
  • 它可能不可用,因为虽然它应该存在,但并不是绝对必要的。