时间:2010-07-26 08:50:16

标签: search search-engine robots.txt googlebot

2 个答案:

答案 0 :(得分:0)

答案 1 :(得分:0)

当您在Google搜索结果页(SERP)中找到该网址时,它是否与您的代码中找到的网址相同?它是否也有描述/片段?

我认为发生的事情是Google知道您网站上链接的网址,因此它会尝试抓取并为其编制索引。但是,由于它被robots.txt阻止,因此不允许抓取页面,因此无法看到登录页面上的noindex元标记。

由于它不知道它不应该为网页编制索引,因此Google会将网址添加到其索引中。但是,像这样的页面往往只有SERP中的标题和URL,并且它们几乎总是没有描述/片段。有时SERP中的标题看起来像是在抓取页面,但他们实际上正在尝试根据指向它的链接的锚文本生成标题。

让页面不显示在SERP中的确定方法是删除Disallow: /admin/命令,并允许Googlebot抓取页面并查看noindex,nofollow元标记。

noindex命令将从SERP中删除该页面,nofollow将帮助Googlebot不要优先考虑它在您的登录页面上找到的链接(这将有助于保持您的抓取效率,但不保证Google赢了抓取它在网页上找到的链接。