在robots.txt文件中使用noodp元标记

时间:2016-01-07 17:08:03

标签: seo robots.txt meta googlebot

是否可以在robots.txt文件中添加“noodp”等SEO标签,而不是使用<meta>标签?我试图避免弄乱我们的CMS模板,虽然我怀疑我可能不得不......

我可以尝试类似的东西......

User-Agent: * Disallow: /hidden Sitemap: www.example.com noodp:

我认为robots.txt优先于meta标签?例如,对于noindex,抓取工具甚至不会看到有问题的页面。对于像noodp这样的东西,情况仍然如此吗?

2 个答案:

答案 0 :(得分:1)

没有

Robots.txt文件目标是向机器人提供有关抓取的信息,而不是他们应该对抓取的内容做些什么。

<meta> 漫游器(或X-Robots-Tag说明)和robots.txt说明是两个截然不同的事情。

Google在其文章Learn about robots.txt file中提供了有关此内容的详细信息:

  

robots.txt只应用于控制抓取流量

如果您想在不弄乱CMS的情况下添加一些机器人说明,HTTP标头X-Robots-Tag可能是一个很好的解决方案。您可以尝试通过服务器配置添加它。

答案 1 :(得分:1)

您无法使用robots.txt执行此操作,但使用the X-Robots-Tag response header可以获得相同的效果。

将类似内容添加到.htaccess文件的相应部分:

Header set X-Robots-Tag "noodp"

这告诉服务器在响应头中包含以下行:

X-Robots-Tag: noodp

搜索引擎(支持X-Robots-Tag)将完全解释这个标题行,就像它们解释'​​#noodp&#39;在机器人元标记中。通常,您可以将任何内容放在X-Robots-Tag标头中,您可以将其放入机器人元标记中。请注意,robots.txt不得阻止该页面,否则抓取工具将永远不会请求该页面,因此永远不会看到该页眉。