我有一个使用漂亮网址的网站,需要使用robots.txt阻止搜索中的某些参数。
我的网址结构如下: http://example.com/vcond/Used/make/mymake/features/myfeatures
如果feature是url的参数,我怎样才能使用robots.txt来阻止网址。 我读过你可以做这样的事情:
Disallow: *features
这将阻止机器人进入任何具有功能的网址。这是真的?但我需要这样的网址:http://example.com/vcond/Used/make/mymake要工作!!
感谢
答案 0 :(得分:2)
Disallow: /*/features
应该做的伎俩。请参阅https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt。
另外,请参阅此主题:Robots.txt: Is this wildcard rule valid?