无效的robot.txt文件问题

时间:2014-03-21 09:37:46

标签: web seo robots.txt

我正在尝试验证我的robots.txt文件:

User-agent: *
Disallow: /Admin/
Disallow: /admin/
Disallow: /Account/
Disallow: /account/
Disallow: /robots.txt

使用the frobee robots.txt checker表示有2个语法错误。

Line 1: Syntax error! Expected <field>: <value>
Line 2: Missing User-agent directive! Found Disallow

我真的不明白为什么。

你知道这个简单的robots.txt文件有什么问题吗?

1 个答案:

答案 0 :(得分:1)

http://tool.motoricerca.info/robots-checker.phtml处的robot-txt-checker会在“User-agent:...”行前面看到任何(不可见的?)字符。

检查您的编码并确保其前面没有字符。尝试使用简单的编辑器重新创建文件,不要复制现有的robots.txt。