我正在尝试验证我的robots.txt文件:
User-agent: *
Disallow: /Admin/
Disallow: /admin/
Disallow: /Account/
Disallow: /account/
Disallow: /robots.txt
使用the frobee robots.txt checker表示有2个语法错误。
Line 1: Syntax error! Expected <field>: <value> Line 2: Missing User-agent directive! Found Disallow
我真的不明白为什么。
你知道这个简单的robots.txt文件有什么问题吗?
答案 0 :(得分:1)
http://tool.motoricerca.info/robots-checker.phtml处的robot-txt-checker会在“User-agent:...”行前面看到任何(不可见的?)字符。
检查您的编码并确保其前面没有字符。尝试使用简单的编辑器重新创建文件,不要复制现有的robots.txt。