是否可以在robots.txt文件中添加“noodp”等SEO标签,而不是使用<meta>
标签?我试图避免弄乱我们的CMS模板,虽然我怀疑我可能不得不......
我可以尝试类似的东西......
User-Agent: *
Disallow: /hidden
Sitemap: www.example.com
noodp:
我认为robots.txt优先于meta标签?例如,对于noindex,抓取工具甚至不会看到有问题的页面。对于像noodp这样的东西,情况仍然如此吗?
答案 0 :(得分:1)
没有
Robots.txt
文件目标是向机器人提供有关抓取的信息,而不是他们应该对抓取的内容做些什么。
<meta>
漫游器(或X-Robots-Tag
说明)和robots.txt
说明是两个截然不同的事情。
Google在其文章Learn about robots.txt file中提供了有关此内容的详细信息:
robots.txt只应用于控制抓取流量
如果您想在不弄乱CMS的情况下添加一些机器人说明,HTTP标头X-Robots-Tag
可能是一个很好的解决方案。您可以尝试通过服务器配置添加它。
答案 1 :(得分:1)
您无法使用robots.txt执行此操作,但使用the X-Robots-Tag response header可以获得相同的效果。
将类似内容添加到.htaccess文件的相应部分:
Header set X-Robots-Tag "noodp"
这告诉服务器在响应头中包含以下行:
X-Robots-Tag: noodp
搜索引擎(支持X-Robots-Tag)将完全解释这个标题行,就像它们解释'#noodp&#39;在机器人元标记中。通常,您可以将任何内容放在X-Robots-Tag标头中,您可以将其放入机器人元标记中。请注意,robots.txt不得阻止该页面,否则抓取工具将永远不会请求该页面,因此永远不会看到该页眉。