Robots.txt禁止使用包含特定字词的网址

时间:2019-03-14 05:59:03

标签: robots.txt google-webmaster-tools

我要禁止URL中包含特定(seeds_)单词的URL 例如

www.example.com/tags/seeds_123-of-plant
www.example.com/tags/plant-have-seeds_124
www.example.com/tags/getting-seeds_78-out-of

在这些URL中,[ Seeds _ ]是一个特定字符。

我尝试了所有下面的方法。

disallow: /tags/*seeds_
disallow: /tags/*seeds
disallow: /tags/*seeds?

,但没有任何效果,因为有时它显示在URL的中间。 请提供真实的答案,因为我尝试了很多。更重要的是,不要给出

之类的答案。
disallow: /tags/*seeds_123
disallow: /tags/*seeds_124?

因为我有将近100多个网址,例如,所以我不能不允许所有网址都一个一个

2 个答案:

答案 0 :(得分:0)

星号意味着任何东西,因此这将禁止在标签目录中包含任何包含seeds_的东西。

不允许:/ tags / * seeds _ *

答案 1 :(得分:0)

我不知道为什么这些在那个时候不起作用。但是现在他们可以正常工作了...

disallow: /tags/*seeds_
disallow: /tags/*seeds