有没有办法阻止Googlebot索引页面的某些部分?

时间:2009-09-30 11:05:27

标签: indexing seo google-search googlebot

是否有可能将指令微调到Google,以至于它会忽略页面的一部分,但仍会为其余部分编制索引?

我们遇到了一些不同的问题,这些问题会有所帮助,例如:

  • 显示来自外部来源的内容的页面上的RSS提要/新闻自动收报机类型文本
  • 用户输入联系电话等详细信息,希望他们在网站上看到这些内容,但希望他们不是google-able

我知道上述两种方法都可以通过其他技术解决(例如使用JavaScript编写内容),但我想知道是否有人知道Google是否已提供更清洁的选项?

我一直在对此进行一些挖掘并遇到googleon and googleoff tags的提及,但这些似乎是Google Search Appliance独有的。

有人知道Googlebot会遵守哪类标签吗?

修改:为了澄清一下,我不想走下隐藏/向Google提供不同内容的危险路线,这就是为什么我要查看是否有“合法的“实现我想在这里做的事情的方式。

8 个答案:

答案 0 :(得分:9)

你所要求的,无法真正完成,谷歌要么占用整个页面,要么不占用整个页面。

你可以做一些偷偷摸摸的技巧,比如插入你不想在iFrame中索引的页面部分,并使用robots.txt让Google不要索引那个iFrame。

答案 1 :(得分:1)

简而言之NO - 除非你使用伪装,否则谷歌不鼓励。

答案 2 :(得分:1)

请查看此处的官方文档

http://code.google.com/apis/searchappliance/documentation/46/admin_crawl/Preparing.html

请转到“从索引中排除不需要的文字”部分

<!--googleoff: index-->
here will be skipped
<!--googleon: index-->

答案 3 :(得分:0)

找到使用某些重复内容的有用资源,而不是允许搜索引擎为此类内容编制索引。

<p>This is normal (X)HTML content that will be indexed by Google.</p>

<!--googleoff: index-->

<p>This (X)HTML content will NOT be indexed by Google.</p>

<!--googleon: index>

答案 4 :(得分:-1)

在您的服务器上使用PHP或ASP通过IP检测搜索机器人。然后将属于您希望编入索引的页面版本的IP地址提供给该列表。在该页面的搜索引擎友好版本中,使用规范链接标记向搜索引擎指定您不希望编入索引的页面版本。

这样,具有希望成为索引的内容的页面将仅按地址编制索引,而只有您希望编入索引的内容将被编入索引。此方法不会被搜索引擎阻止,并且完全安全。

答案 5 :(得分:-1)

是的,您肯定可以通过创建自定义robots.txt来阻止Google索引您网站的某些部分,并编写您不想索引的部分,例如wpadmins,或特定的帖子或页面,以便您可以通过创建轻松完成这个robots.txt文件。在创建之前检查您的网站robots.txt,例如www.yoursite.com/robots.txt。

答案 6 :(得分:-2)

有机器人的元标记,还有robots.txt,您可以使用它来限制对某些目录的访问。

答案 7 :(得分:-2)

所有搜索引擎都会索引或忽略整个页面。实现您想要的唯一可行方法是:

(a)有两个不同版本的同一页

(b)检测使用的浏览器

(c)如果是搜索引擎,请提供您网页的第二个版本。

This link可能会有所帮助。