robot.txt语法不明白

Question

我在robot.txt User-agent: *

的第一行收到此错误

我的robot.txt如下：

User-agent: *
Disallow: /Search/
Disallow: /_layouts/ 
Disallow: /blog/_layouts/
Disallow: /Blog/_layouts/
Disallow: /ReusableContent/
Disallow: /Reports%20List/
Disallow: /WorkflowTasks/
Disallow: /SiteCollectionImages/
Disallow: /Documents/Forms/
Disallow: /Pages/Forms/
Disallow: /Internet/

我认为有一个空格/Reports%20List/。这会产生问题吗？ 我不是很确定。任何帮助将不胜感激。

Answer 1

麻烦在于UTF-8格式化robots.txt文件开头的3个不可见字节，即所谓的BOM（字节顺序掩码）。此BOM是可选的。是的，您需要格式为UTF-8的文件，但Google目前不喜欢预期的简单robots.txt文件中的可选BOM并且解析失败。

您可以阅读更详细的解释HERE。