我无法弄清楚为什么Google会将我的robots.txt文件读取为Disallow: /。
这就是我在主根目录中的robots.txt文件中所拥有的内容：
User-agent: *
Allow: /
但如果我在浏览器中输入数字，则会显示Disallow: /：http://revita.hr/robots.txt
我尝试了所有内容，提交了站点地图，添加了元机器人索引，关注<head>，但它始终是相同的。
有什么想法吗？
答案 0 :(得分：1)
如果通过HTTPS（→Allow）而不是HTTP（→Disallow）访问它，您似乎有不同的robots.txt文件。
顺便说一下，你不需要陈述
User-agent: *
Allow: /
因为允许一切都是默认值。由于Allow不是原始robots.txt规范的一部分，您可能需要使用此代码：
User-agent: *
Disallow:
另请注意，记录中不应有空行。