纠正Robots.txt代码?

时间:2012-11-27 01:56:06

标签: robots.txt

我最近通过网站管理员工具向Google提交了我的网站,但我看不到Google提供的任何搜索结果。 Google网站站长工具会显示站点地图的错误 - “受robots.txt限制的网址” - 但据我所知,错误应该不是问题,或者我错了?也许robots.txt有问题吗?

 User-agent: Slurp
 Disallow: /

 User-agent: Baiduspider
 Disallow: /

 User-agent: ia_archiver
 Disallow: /

 User-agent: duggmirror
 Disallow: /

 User-agent: Yandex
 Disallow: /

 User-agent: *
 Disallow: /cgi-bin/
 Disallow: /wp-admin/
 Disallow: /wp-includes/
 Disallow: /wp-content/
 Disallow: /build/
 Disallow: /css/
 Disallow: /trackback/
 Disallow: /comments/
 Disallow: /assets/graphics/
 Disallow: /assets/visual/

更新我在验证程序中运行了robots.txt并对其进行了更新(见上文),不再发出任何警告并将其提交给Google。谷歌抓取该网站,但它没有索引。我已将站点地图提交给Google网站管理员工具,向Google提取新的robots.txt以及包含主页的7个不同页面和帖子。它们都显示提取状态:提交到索引的成功URL。

是的,有一个旧的robots.txt文件阻止了所有机器人。新的显然没问题,但仍然显示警告信息(见下文)

Google网站站长健康

消息您没有消息

抓取错误过去90天内未检测到任何错误。尼斯!

阻止的网址 robots.txt文件:mysite.com/robots.txt 被阻止的网址:1 状态:200(成功)

索引状态索引总数:0

Google网站管理员优化

站点地图

网站地图内容: 网页 99提交 1索引

错误详情:0个错误,99个警告。 输入:警告 问题:由robots.txt阻止的网址。 说明:Sitemap包含被robots.txt阻止的网址。 问题计数:99 示例值http://mysite.com

Google网站管理员工具中的消息对我来说似乎很矛盾,如果我没事,只是需要等待或者有问题,我真的不知道。

0 个答案:

没有答案