标签: robots.txt
我担心*规则与Yandex规则之间的重叠。
*
Yandex
User-agent: * Allow: / User-agent: Yandex Disallow: /
第一个会取消第二个吗?
答案 0 :(得分:4)
你只需要:
User-agent: Yandex Disallow: /
这部分是不必要的:
User-agent: * Allow: /
因为它是隐含的并且默认使用(除非另有说明,否则访问)。