我们的Wordpress网站将robots.txt设置为禁止抓取约7天，我们遇到了意外情况。我现在正在尝试清理网站管理员工具说＃34; Sitemap包含被robots.txt阻止的网址。＆＃34;在我调整了robots.txt并允许抓取之后。没有理由仍然阻止URLS，当我访问这些示例时，它们看起来没问题。
Robots.txt网址：http://bit.ly/1u2Qlbx
站点地图网址：http://bit.ly/1BfkSmx
根据网站站长工具，robots.txt阻止的网址：http://bit.ly/1uLBRea或http://bit.ly/1CsrHnr
答案 0 :(得分：6)
不用担心，如果您再次启用了网址，Google的网络抓取工具会再次注意并抓取您的网页。该消息将在几天内从GWT消失。
最后，您可以使用GWT的相应功能测试您的robots.txt。
答案 1 :(得分：5)
使用此插件
https://wordpress.org/plugins/wp-robots-txt/
它将删除以前的robots.txt并设置简单的wordpress robots.txt并等待一天
问题可以解决。
答案 2 :(得分：4)
Google可能需要一段时间才能重新抓取您的网站。我说等待可能是你唯一的选择。
在通过网站管理员工具提交完整的网站地图后，我需要最多7天才能正确编制索引。
看起来您正在使用Yoast SEO，该插件应该告诉您是否存在任何其他问题。