Question

我最近继承了一个代码库并发现了这个gem：

{% if PAGE_EXTRAS.hide_from_sitemap %}
    <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
    <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
    <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
{% endif %}

我不知道它想要做什么。您是否有理由在这样的网站中放置多个明显冲突的机器人标签？或者它看起来像我不知情的眼睛一样疯狂吗？

Answer 1

这对我来说似乎是个错误。我能找到的唯一信息是Google's Robots meta tag specification：

如果我们的抓取工具遇到竞争指令，我们将使用我们找到的最严格的指令。

所以，（对谷歌来说，至少）代码：

<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">

完全相同：

<meta name="robots" content="noindex, nofollow">

可以想象，此代码可能旨在作为某种偷偷摸摸的黑客行为，旨在通过利用它们如何解决冲突的差异，将不同的规则应用于不同的抓取工具。如果是这样，这是一个可怕的想法，恕我直言。当已经有一个合法的机制来做同样的事情时，不需要一个凌乱的脆弱的黑客攻击：

<meta name="googlebot" content="noindex, follow">
<meta name="bingbot" content="index, nofollow">

多个机器人元标记

1 个答案: