我想阻止所有机器人抓取子目录http://www.mysite.com/admin
以及该目录中的所有文件和文件夹。例如,/admin
内可能还有其他目录,例如http://www.mysite.com/admin/assets/img
我不确定要在robots.txt中包含哪些正确的声明才能执行此操作。
应该是:
User-agent: *
Disallow: /admin/
或者:
User-agent: *
Disallow: /admin/*
或者:
User-agent: *
Disallow: /admin/
Disallow: /admin/*