我想只允许这些网址在mysite中阅读机器人
example.com/site/faq
example.com/site/blog
example.com/site/aboutus
需要阻止所有其他网址，规则是什么？感谢
答案 0 :(得分：3)
我认为您正在寻找的是：
User-agent: *
Allow: /site/faq
Allow: /site/blog
Allow: /site/aboutus
Disallow: *
具体允许您提到的三个文件夹，并禁止其他所有文件夹。