如何防止搜索引擎索引一段文本?

时间:2015-03-15 08:06:15

标签: html web-crawler robots.txt googlebot noindex

the information I have been able to find so far开始,<noindex>应该实现这一目标,使网页的一个部分隐藏在搜索引擎蜘蛛之外。但是,似乎许多浏览器都没有遵守这一点 - 所以如果是这样的话,除了它之外应该使用什么标记而不是/?

  • Yahoo使用内置类:<span class="robots-nocontent">
  • Googlebot没有等效的(?)
  • Yandex使用<noindex>
  • 其他?

1 个答案:

答案 0 :(得分:1)

没有办法阻止抓取工具索引任何内容,由作者决定抓取工具会做什么。像雅虎Slurp,Googlebot等那些遵守规则的人,他们每个人都有自己的规则,正如你已经发现的那样,但是他们是否完全遵守规则仍然取决于他们 - 比如你设置{{1但该部分仍然被索引并放在其他地方,可能用于检查垃圾邮件,非法材料,恶意软件等。

这只是针对“好”的,不知道坏的会做些什么。因此,将所有noindex内容视为一套指导原则,而不是一套严格的规则。

唯一有效的方法是:如果您有敏感数据,或者您根本不想索引某些内容 - 不公开