在robots.txt中指令的顺序，它们是相互覆盖还是相互补充？

Question

User-agent: Googlebot
Disallow: /privatedir/

User-agent: *
Disallow: /

现在，Googlebot不允许使用什么：/ privatedir /，或整个网站/？

Answer 1

根据original robots.txt specification：

1. 机器人必须遵循与其用户代理名称匹配的第一条记录。

2. 如果此记录不存在，则必须跟随User-agent: *的记录（此行可能不会出现在多个记录中）。

3. 如果此类记录不存在，则无需遵循任何记录。

因此，机器人永远不会超过一条记录。

对于您的示例，这意味着：

• 与名称匹配的机器人＆＃34; Googlebot＆＃34;不允许抓取路径以/privatedir/开头的网址。
• 与名称不匹配的机器人＆＃34; Googlebot＆＃34;不允许抓取任何网址。