禁止允许的文件夹的子文件夹？

Question

我正在使用Codeigniter来构建我的网站。我的许多网址都包含多个斜杠，如下所示：

http://www.example.com/user/friend/mack/johnson/1023

我的问题是，Google希望为此网址的几种不同变体编制索引，如：

http://www.example.com/user/friend/mack/johnson/
http://www.example.com/user/friend/mack/
http://www.example.com/user/friend/
http://www.example.com/user/

不幸的是，这些网址不会随处可见。有没有办法禁止robots.txt文件中允许的文件夹的子文件夹？我猜它看起来像这样：

Disallow: /user/*
Disallow: /user/*/*
Disallow: /user/*/*/*
Allow: /user/*/*/*/*

我有点害怕尝试这个。我真的不知道搜索引擎会如何反应。

关于答案：

似乎最具体的规则是遵循的规则。为此：

allow: /item/results/product/*/*/
allow: /item/results/product/*/*/*/$
disallow: /item/results/product/*/*/$
disallow: /item/results/product/*/*/*/*

将允许

/item/results/product/some/thing/12345

和

/item/results/product/some/thing/12345/

但不是

/item/results/product/some/thing/

，也不

/item/results/product/some/thing/12345/a

Answer 1

首先，尾随*是多余的。因此/user/和/user/*意味着同样的事情。

你应该写：

Allow: /user/*/*/*/
Disallow: /user/

这表示允许将子目录的三个级别向下爬行，但不允许以/user/开头的任何其他内容。