我很久以前将我的robots.txt文件提交给Google，它仍然给我一个不理解第一行的语法。
谷歌谷歌搜索后最常见的问题是Google添加'？'在线的开头，但它不是这样做的。robots.txt的网址是
www.leisurepursuits.co.uk/robots.txt
错误是：
第1行：用户代理：*语法不明白
答案 0 :(得分：24)
此错误显示是因为预期的robots.txt文件格式是以UTF-8编码的纯文本格式。该文件由CR，CR / LF或LF分隔的记录（行）组成。
如果字符编码不是UTF-8的子集，那么您的robots.txt文件将被错误地解析。
首先检查http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl中的robots.txt网址，选择第二个选项“查看来源”，看看它是否成功响应。
现在再次上传您的robots.txt文件。它不会显示错误，如前所示。