robots.txt - 这有用吗？

Question

我刚刚遇到了一个看起来像这样的robots.txt：

User-agent: *
Disallow: /foobar

User-agent: badbot
Disallow: *

仅禁用几个文件夹后，特定的badbot规则是否适用？

注意：此问题仅用于理解上述规则集。我知道使用robots.txt不是一个合适的安全机制，我既不使用也不提倡它。

Answer 1

每个机器人最多只能遵守一个记录（块）。

一个块以一条or more User-agent行开头，通常后跟Disallow行（at least one is required）。块由空行分隔。

一个名为“badbot”的机器人will寻找一条带有User-agent: badblock行的记录（或类似的，因为机器人“在解释这个字段时应该是自由的”）。如果找不到这样的行，它将查找行User-agent: *的记录。即使这不存在，也允许机器人做任何事情（=默认）。

因此，在您的示例中，名为“badbot”的机器人将仅遵循第二条记录（您可能意味着Disallow: / instead of Disallow: *），而所有其他机器人仅遵循第一条记录。