Google Sitemap和Robots.txt问题

时间:2009-09-28 08:16:17

标签: sitemap robots.txt

我们的网站http://www.gamezebo.com/sitemap.xml

有一个站点地图

站点地图中的部分网址在网站管理员中心报告为被我们的robots.txt阻止,请参阅gamezebo.com/robots.txt!虽然这些网址在Robots.txt中不被禁止。还有其他类似的网址,例如,gamezebo.com/gamelinks存在于我们的网站地图中,但它被报告为“受robots.txt限制的网址”。

此外,我在网站管理员中心的解析结果中说:“第21行:抓取延迟:Googlebot忽略了10规则”。这是什么意思?

感谢您的帮助,

感谢。

1 个答案:

答案 0 :(得分:2)

抓取延迟不是robots.txt格式的实际规格,因此该行将被忽略...如果您想在google webmaster tools下设置>,则可以设置自定义抓取速率抓取率