我的robots.txt看起来像这样:
User-agent: *
Disallow: /admin
Disallow: /test
User-Agent: Googlebot
Disallow: /maps
现在Google忽略了用户代理*部分,并且只遵守特定的Googlebot指令(/ maps)。这是正常行为,是否也应该遵守useragent *指令(/ admin,/ test)?
为每个使用者添加每一行似乎很奇怪?
答案 0 :(得分:2)
没关系,谷歌说:
robots.txt文件中的每个部分都是独立的,不会构建 在前几节。例如:
User-agent:* Disallow:/ folder1 /
User-Agent:Googlebot Disallow:/ folder2 /
在此示例中,仅允许匹配/ folder2 /的URL 对于Googlebot。