User-agent: *
Disallow:
Disallow: /admin
Disallow: /admin
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml
我在我网站的一个根文件夹中找到了这个robots.txt文件。我不知道我是谁或谁。
我认为此文件不允许任何机器人管理文件夹。这很好。
但我想知道这是否会阻止我网站上所有文件的所有机器人？
我已用此文件更改了它：
User-agent: *
Disallow: /admin
Allow: /
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml
ps：这个网站很长一段时间没有得到任何索引。是旧文件问题？
答案 0 :(得分：1)
可能。我以同样的方式阅读你的旧文件 - 根本被禁止。无论哪种方式，您的新机器人文件都会按照我的预期设置。
答案 1 :(得分：1)
旧脚本（副本/管理员条目除外）是正确的。没有Allow：命令，空的'Disallow：'会打开网站直到机器人。
http://www.free-seo-news.com/all-about-robots-txt.htm
具体来说，检查“你应该避免的事情”下的第7项和“提示与技巧”下的＃1