使用模式阻止robots.txt中的一些动态URL

时间:2013-04-15 07:46:24

标签: robots.txt googlebot

我正在尝试从索引中排除部分页面。我有搜索表单,您可以使用一些预定义参数或用户类型查询。我需要阻止具有用户提供的查询的搜索结果。

示例网址:

  • example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn= #index it!
  • example.com?adv=0&query=&r=0&woj=0&msc=&osk=&osb=&osn= #index也是!
  • example.com?adv=0&query=**USER_QUERY**&r=0&woj=0&msc=&osk=&osb=&osn=#不要索引!

的robots.txt:

User-Agent: *

Disallow: /example.com?adv=0&query=*&r=0&woj=0&msc=&osk=&osb=&osn=

星号符号会像我期望的那样工作吗?谷歌会知道星号只与&query param相关联,如果这个参数是空的,那么URL应该被编入索引吗?

1 个答案:

答案 0 :(得分:0)

Bing和Google允许使用通配符? *(来自https://youtu.be/G29Zt-UH_Ko