阻止Googlebot在仍允许访问的同时对网页编制索引

时间:2017-01-30 12:20:22

标签: angularjs robots.txt googlebot

在angularjs应用中,我使用/fragments/welcome-1.html之类的片段作为/welcome的一部分显示。我想,我可以通过

将其排除在谷歌搜索之外
Disallow: /fragments
robots.txt

,但它完全阻止了Googlebot的任何访问,因此无法正确显示页面/welcome

显然,我无法做到这一点,但我怎样才能确保Google能够获取该片段并且不会将其编入索引?请注意,它不是真正的HTML,只是正文的一部分,因此我无法真正使用meta标记。

2 个答案:

答案 0 :(得分:0)

我不认为这是一个angularjs问题,或者如果可以解决角度问题。我有一个与机器人类似的问题。我有一个文件夹,我托管多个网站。我在Google分析控制台中解析它,在您验证并监控您的域后,菜单上有一个名为Google index的选项,其中有一个删除网址的选项。只需将您不想要Google的所有网址编入索引即可。

https://www.google.com/analytics/

答案 1 :(得分:0)

我刚刚找到了X-Robots-Tag,我使用

/fragments的所有网页提供服务
X-Robots-Tag: googlebot: noindex

让我们看看它是否真的有用。