我们的网站http://www.gamezebo.com/sitemap.xml
有一个站点地图站点地图中的部分网址在网站管理员中心报告为被我们的robots.txt阻止,请参阅gamezebo.com/robots.txt!虽然这些网址在Robots.txt中不被禁止。还有其他类似的网址,例如,gamezebo.com/gamelinks存在于我们的网站地图中,但它被报告为“受robots.txt限制的网址”。
此外,我在网站管理员中心的解析结果中说:“第21行:抓取延迟:Googlebot忽略了10规则”。这是什么意思?
感谢您的帮助,
感谢。
答案 0 :(得分:2)
抓取延迟不是robots.txt格式的实际规格,因此该行将被忽略...如果您想在google webmaster tools下设置>,则可以设置自定义抓取速率抓取率