标签： php header http-status-code-404 web-crawler
爬虫可以通过哪种方式从发送假404标头的页面中读取html。我尝试使用implode和curl和file_get_contents获取页面仍然会收到标题404错误。similar SO reference link
implode
curl
file_get_contents
答案 0 :(得分：1)
您可能希望使用curl（或Guzzle）并实际添加用户代理以及请求。如果没有给出（或阻止）用户代理，某些站点将返回404（或其他错误）