这是robots.txt阻止Yandex并允许其他人的正确语法吗?

时间:2011-09-18 14:25:31

标签: robots.txt

我担心*规则与Yandex规则之间的重叠。

User-agent: *
Allow: /

User-agent: Yandex
Disallow: /

第一个会取消第二个吗?

1 个答案:

答案 0 :(得分:4)

你只需要:

User-agent: Yandex
Disallow: /

这部分是不必要的:

User-agent: *
Allow: / 

因为它是隐含的并且默认使用(除非另有说明,否则访问)。