X-Robots-Tag HTTP标头与robots.txt的优先级

Question

例如，如果在Apache设置中设置：

<IfModule mod_headers.c>
    Header set X-Robots-Tag "noindex, nofollow"
</IfModule>

，这是在robots.txt文件中设置的：

User-agent: *
Allow: /

哪一个优先？

Answer 1

这些是不同的说明，因此您的查询无效。 robots.txt文件允许抓取，x-robots-tag控制索引。

虽然如果你已经展示了具有相同指令但格式不同的东西，那么（至少对于谷歌机器人）来说会出现限制性最强的情况。