robots.txt中的用户代理顺序

时间:2012-12-28 07:00:41

标签: seo robots.txt

我的robots.txt看起来像这样:

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps

现在Google忽略了用户代理*部分,并且只遵守特定的Googlebot指令(/ maps)。这是正常行为,是否也应该遵守useragent *指令(/ admin,/ test)?

为每个使用者添加每一行似乎很奇怪?

1 个答案:

答案 0 :(得分:2)

没关系,谷歌说:

  

robots.txt文件中的每个部分都是独立的,不会构建   在前几节。例如:

     

User-agent:* Disallow:/ folder1 /

     

User-Agent:Googlebot Disallow:/ folder2 /

     

在此示例中,仅允许匹配/ folder2 /的URL   对于Googlebot。