我最近继承了一个代码库并发现了这个gem:
{% if PAGE_EXTRAS.hide_from_sitemap %}
<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
{% endif %}
我不知道它想要做什么。您是否有理由在这样的网站中放置多个明显冲突的机器人标签?或者它看起来像我不知情的眼睛一样疯狂吗?
答案 0 :(得分:3)
这对我来说似乎是个错误。我能找到的唯一信息是Google's Robots meta tag specification:
如果我们的抓取工具遇到竞争指令,我们将使用我们找到的最严格的指令。
所以,(对谷歌来说,至少)代码:
<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">
完全相同:
<meta name="robots" content="noindex, nofollow">
可以想象,此代码可能旨在作为某种偷偷摸摸的黑客行为,旨在通过利用它们如何解决冲突的差异,将不同的规则应用于不同的抓取工具。如果是这样,这是一个可怕的想法,恕我直言。当已经有一个合法的机制来做同样的事情时,不需要一个凌乱的脆弱的黑客攻击:
<meta name="googlebot" content="noindex, follow">
<meta name="bingbot" content="index, nofollow">