Facebook无法正确抓取我的网站 - PHP网站

时间:2014-03-27 09:22:19

标签: facebook scraper

我正在运行这个网站www.miswag.net,它非常依赖于Facbeook。当我在Facebook上分享我的网站时,我得到了一个“403 Forbidden”,当我试图抓取我的网站时,这是Facebook的调试器输出:https://developers.facebook.com/tools/debug/og/object?q=http%3A%2F%2Fwww.miswag.net

请帮忙解决这个问题..谢谢

2 个答案:

答案 0 :(得分:0)

Facebook的刮刀不需要阅读整页,所以他们只通过发送一个Range标头来请求它的一部分。但是,您的服务器似乎对该请求的响应不正确并返回403错误代码。您需要检查服务器并确保它正确处理范围标题。

要查看此操作,请尝试以下CURL命令:

curl -H "Range: bytes=0-524287" http://www.miswag.net

这是我得到的回应:

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>403 Forbidden</title>
</head><body>
<h1>Forbidden</h1>
<p>You don't have permission to access /
on this server.</p>
<p>Additionally, a 404 Not Found
error was encountered while trying to use an ErrorDocument to handle the request.</p>
</body></html>

答案 1 :(得分:0)

在@ Waleed&#39; sanswer上复合,如果你想立即测试,请使用Online CURL

  1. 填写www.wiswag.net
  2. 添加选项选项,选择--header (-H)
  3. 旁边的"Range: bytes=0-524287"
  4. CURL按钮