如何防止谷歌机器人抓取页面的特定部分？

Question

我想谷歌机器人阻止抓取页面的特定部分说div。我的网站是有角度的，我正在使用转义片段页面为seo。 我不想为此使用iframe。有什么建议吗？

Answer 1

我可以想出两种方法可以做到这一点：

1-使用jQuery或Javascript

只需将您不希望在div中抓取的页面部分包装并为其指定ID。然后，将display:none样式应用于css文件中的id，然后在页面加载时通过jQuery或Javascript将其设为display:block。

这一点HTML，CSS和javascript应该这样做：

<强> HTML：

<div id="hide-from-bots">The content of this div will be hidden from bots</div>

<强> CSS：

#hide-from-bots {
display:none;
}

<强> jQuery的：

<script type="text/javascript"> 
$(document).ready(function()
  {
      $("#hide-from-bots").show();
  }
</script>

2-检测用户代理并跳过内容

另一种方法可能是以某种方式检测USER AGENT，然后将您不希望被抓取的页面部分包装在这样的条件语句中：

if (USER AGENT != Googlebot){
  This content wouldn't render for Googlebot
} 

Answer 2

当今最好的方法是使用googleon / googleoff标签来排除网站的某些部分。

有关该主题的更多信息，请参见Google Search Appliance Help。