谷歌或任何其他抓取工具是否可以抓取并索引返回301状态代码的网页？
我在谷歌看过一个页面，它已经有一个301个月了。但是，索引中该页面的缓存日期是几天前的。
google可以忽略301并抓取页面内容吗？
答案 0 :(得分：6)
通常，Google会抓取重定向到的网页。您看到的网站有两种可能的解释：
答案 1 :(得分：3)
Google总是抓取重定向的目标，HTTP 301也不例外。但是找不到比one employee's discussion post更好的来源。 Google Search Appliance documentation说同样的，我不明白为什么GSA和GoogleBot应该以不同的方式处理重定向。
答案 2 :(得分：2)
301是最好的回应。 Google最终将从SERP中删除这些网址。除非您希望在未来三到六个月内访问您的网站的人数减少，否则请不要强行降低速度。
答案 3 :(得分：2)
据垃圾邮件团队负责人Matt Cutts称，人们使用301s滥用排名，将一堆域名转发给新域名，因此Google改进了处理301页面的方式。我们假设您已移至新域并将所有页面从旧域转移到新域上的相应页面。在这种情况下，Google最终会从索引中逐步淘汰旧域名并将新域名移入。
您所说的内容很少见，如果您对此感到担心，可以通过Google网站管理员论坛让Google了解相关信息。一旦引起别人的注意，它们就会非常快速地完成这样的事情。但是，可能会出现页面最终删除301然后重新打开的原因。或者可能是因为Google Bot没有显示301。
答案 4 :(得分：2)
您可以使用Google网站管理员工具： https://www.google.com/webmasters/tools/home
有一个机器人分析工具，您可以在其中测试您的域名网址，并查看是否正在抓取301重定向页面;）