robots.txt使用漂亮的网址拒绝访问特定的网址参数

时间:2013-11-11 15:23:48

标签: robots.txt

我有一个使用漂亮网址的网站,需要使用robots.txt阻止搜索中的某些参数。

我的网址结构如下: http://example.com/vcond/Used/make/mymake/features/myfeatures

如果feature是url的参数,我怎样才能使用robots.txt来阻止网址。 我读过你可以做这样的事情:

Disallow: *features

这将阻止机器人进入任何具有功能的网址。这是真的?但我需要这样的网址:http://example.com/vcond/Used/make/mymake要工作!!

感谢

1 个答案:

答案 0 :(得分:2)

Disallow: /*/features

应该做的伎俩。请参阅https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

另外,请参阅此主题:Robots.txt: Is this wildcard rule valid?