答案 0 :(得分:0)
答案 1 :(得分:0)
当您在Google搜索结果页(SERP)中找到该网址时,它是否与您的代码中找到的网址相同?它是否也有描述/片段?
我认为发生的事情是Google知道您网站上链接的网址,因此它会尝试抓取并为其编制索引。但是,由于它被robots.txt阻止,因此不允许抓取页面,因此无法看到登录页面上的noindex元标记。
由于它不知道它不应该为网页编制索引,因此Google会将网址添加到其索引中。但是,像这样的页面往往只有SERP中的标题和URL,并且它们几乎总是没有描述/片段。有时SERP中的标题看起来像是在抓取页面,但他们实际上正在尝试根据指向它的链接的锚文本生成标题。
让页面不显示在SERP中的确定方法是删除Disallow: /admin/
命令,并允许Googlebot抓取页面并查看noindex,nofollow元标记。
noindex命令将从SERP中删除该页面,nofollow将帮助Googlebot不要优先考虑它在您的登录页面上找到的链接(这将有助于保持您的抓取效率,但不保证Google赢了抓取它在网页上找到的链接。