Robots.txt文件验证问题

Question

我正在为门户网站使用一个非常简单的robots.txt文件，如下所示

用户代理：* 不允许： / 允许：/robots.txt

问题是，当我使用在线验证程序并将其指向我的robots.txt文件的实时副本时，它会显示这个奇怪的额外字符和错误

Line 1 User-agent: *

This line doesn't follow a correct syntax. The correct syntax is: : , where "field" can be "User-agent" or "Disallow". Please refer to Robots Exclusion Standard page for more informations.

请注意它在用户代理之前显示的奇怪字符。建议？

提前致谢

Answer 1

可能导致这种情况的原因是您在文件开头有一个BOM（字节顺序标记），因为您保存为UTF。如果是这样，最简单的解决方法是以ASCII格式重新保存robots.txt文件。