我最近通过网站管理员工具向Google提交了我的网站,但我看不到Google提供的任何搜索结果。 Google网站站长工具会显示站点地图的错误 - “受robots.txt限制的网址” - 但据我所知,错误应该不是问题,或者我错了?也许robots.txt有问题吗?
User-agent: Slurp
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /build/
Disallow: /css/
Disallow: /trackback/
Disallow: /comments/
Disallow: /assets/graphics/
Disallow: /assets/visual/
更新我在验证程序中运行了robots.txt并对其进行了更新(见上文),不再发出任何警告并将其提交给Google。谷歌抓取该网站,但它没有索引。我已将站点地图提交给Google网站管理员工具,向Google提取新的robots.txt以及包含主页的7个不同页面和帖子。它们都显示提取状态:提交到索引的成功URL。
是的,有一个旧的robots.txt文件阻止了所有机器人。新的显然没问题,但仍然显示警告信息(见下文)
Google网站站长健康:
消息您没有消息
抓取错误过去90天内未检测到任何错误。尼斯!
阻止的网址 robots.txt文件:mysite.com/robots.txt 被阻止的网址:1 状态:200(成功)
索引状态索引总数:0
Google网站管理员优化:
站点地图
网站地图内容: 网页 99提交 1索引
错误详情:0个错误,99个警告。 输入:警告 问题:由robots.txt阻止的网址。 说明:Sitemap包含被robots.txt阻止的网址。 问题计数:99 示例值:http://mysite.com
Google网站管理员工具中的消息对我来说似乎很矛盾,如果我没事,只是需要等待或者有问题,我真的不知道。