robots.txt中的用户代理顺序

Question

我的robots.txt看起来像这样：

User-agent: *
Disallow: /admin
Disallow: /test

User-Agent: Googlebot
Disallow: /maps

现在Google忽略了用户代理*部分，并且只遵守特定的Googlebot指令（/ maps）。这是正常行为，是否也应该遵守useragent *指令（/ admin，/ test）？

为每个使用者添加每一行似乎很奇怪？

Answer 1

没关系，谷歌说：

  

robots.txt文件中的每个部分都是独立的，不会构建   在前几节。例如：

     

User-agent：* Disallow：/ folder1 /

     

User-Agent：Googlebot Disallow：/ folder2 /

     

在此示例中，仅允许匹配/ folder2 /的URL   对于Googlebot。