在robots.txt中放置Host：指令的位置顺序

Question

我的robots.txt中的Host指令应该位于文件的顶部还是底部，或者顺序无关紧要。

这是我的robots.txt文件：

User-agent: *
Crawl-delay: 10
Disallow: /administrator/

指定的每个User-Agent是否也需要host指令？

Answer 1

来自Yandex：https://yandex.com/support/webmaster/controlling-robot/robots-txt.html#host

  

[...] Host指令是交叉的，因此机器人将使用它，无论其在robots.txt中的位置如何。

     

对于每个robots.txt文件，只处理一个Host指令。如果文件中指示了多个指令，则机器人将使用第一个指令。

     

例如：

Host: myhost.ru # uses

User-agent: *
Disallow: /cgi-bin

User-agent: Yandex
Disallow: /cgi-bin
Host: www.myhost.ru # is not used

因此，无论User-Agent指令所在的Host是什么，或者robots.txt中有多少Host个指令，它们的位置只会是第一次出现的指令使用。