robots.txt阻止机器人爬行子目录

时间:2013-09-01 20:19:54

标签: seo search-engine robots.txt robot

我想阻止所有机器人抓取子目录http://www.mysite.com/admin以及该目录中的所有文件和文件夹。例如,/admin内可能还有其他目录,例如http://www.mysite.com/admin/assets/img

我不确定要在robots.txt中包含哪些正确的声明才能执行此操作。

应该是:

User-agent: *
Disallow: /admin/

或者:

User-agent: *
Disallow: /admin/*

或者:

User-agent: *
Disallow: /admin/
Disallow: /admin/*

1 个答案:

答案 0 :(得分:0)

根据网络上提供的信息(我无法检索所有信息,但有些论坛实际报告了问题,例如在herehere中),我会关注那些建议的人我们从不告诉人们或机器人(或两者)我们不希望他们看的地方(“管理员”看起来像敏感内容......)。

检查完毕后,我确认这是你说的第一个。参考here