我发现我网站上的robots.txt文件导致Google的网站站长工具无法正确索引我的网站。我尝试并删除了文件中的所有内容（使用WordPress，因此它仍会生成它）但我在其面板中不断收到相同的错误，
“网站上发现了严重的状态问题。 - 检查网站状态”。当我点击网站状态时，它告诉我robots.txt正在阻止我的主页面，而不是。
http://saturate.co/robots.txt - 想法？
编辑：将此标记为已解决，因为网站管理员工具现在已接受该网站并且未显示任何错误。
答案 0 :(得分：1)
您应该尝试将Disallow:添加到文件的末尾。所以它看起来像这样：
User-agent: *
Disallow: