Question

我注意到我的网站排名不像以前那么好，当我查看网站管理员工具时，我发现gooblebot无法抓取我可以完全抓取浏览器并且我获得500的网页错误。

网站不是WordPress并使用PHP。

可能导致此问题的原因是什么？

这是WMT中的实际错误

HTTP/1.1 500 Internal Server Error
Date: Tue, 06 Nov 2012 21:04:38 GMT
Server: Apache
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: PHPSESSID=blkss9toirna36p2mjl44htv01; path=/
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 3840
Connection: close
Content-Type: text/html

Answer 1

您可能使用.htaccess，robots.txt或其他方式阻止Googlebot（可能是防火墙设置？）

一个。这不好

湾你应该使用WMT来获取抓取统计数据/抓取错误报告，并使用它们来更好地理解这个问题（在什么网址/这种情况经常发生...）

此外，请尝试查看您上次的Google缓存日期（直接搜索域并点击预览窗口中的缓存链接）

这可能是临时的，与停机相关的问题，可以自行解决，也可能是您需要更改的网站范围阻止规则。

GL

Answer 2

如果您仍然遇到googlebot收到500错误代码的问题，建议您注册Google网站站长工具而不是Google Analytics。如果您选择健康，则选择Google。你应该得到googlebot收到的内容，看看错误是什么。

Answer 3

我遇到了同样的问题，并发现它是造成这种情况的插件之一。基本上我禁用每个插件，然后重新启用一个，测试，重新启用下一个....... 花了大约1个小时找到罪魁祸首，但现在一切都很好

在网站管理员工具中，googlebot从服务器收到抓取错误500

3 个答案: