Question

我无法弄清楚为什么Google会将我的robots.txt文件读取为Disallow: /。

这就是我在主根目录中的robots.txt文件中所拥有的内容：

User-agent: *

Allow: /

但如果我在浏览器中输入数字，则会显示Disallow: /：http://revita.hr/robots.txt

我尝试了所有内容，提交了站点地图，添加了元机器人索引，关注<head>，但它始终是相同的。

有什么想法吗？

Answer 1

如果通过HTTPS（→Allow）而不是HTTP（→Disallow）访问它，您似乎有不同的robots.txt文件。

顺便说一下，你不需要陈述

User-agent: *
Allow: /

因为允许一切都是默认值。由于Allow不是原始robots.txt规范的一部分，您可能需要使用此代码：

User-agent: *
Disallow:

另请注意，记录中不应有空行。