多个机器人元标记

时间:2017-07-13 11:12:22

标签: meta robots.txt

我最近继承了一个代码库并发现了这个gem:

{% if PAGE_EXTRAS.hide_from_sitemap %}
    <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
    <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
{% endif %}

我不知道它想要做什么。您是否有理由在这样的网站中放置多个明显冲突的机器人标签?或者它看起来像我不知情的眼睛一样疯狂吗?

1 个答案:

答案 0 :(得分:3)

这对我来说似乎是个错误。我能找到的唯一信息是Google's Robots meta tag specification

  

如果我们的抓取工具遇到竞争指令,我们将使用我们找到的最严格的指令。

所以,(对谷歌来说,至少)代码:

<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">

完全相同:

<meta name="robots" content="noindex, nofollow">

可以想象,此代码可能旨在作为某种偷偷摸摸的黑客行为,旨在通过利用它们如何解决冲突的差异,将不同的规则应用于不同的抓取工具。如果是这样,这是一个可怕的想法,恕我直言。当已经有一个合法的机制来做同样的事情时,不需要一个凌乱的脆弱的黑客攻击:

<meta name="googlebot" content="noindex, follow">
<meta name="bingbot" content="index, nofollow">