在我的一个网站上有很多限制页面,只有登录用户可以使用,而对于其他人,它会输出默认的“你必须登录...”视图。
问题是;很多这些页面都列在谷歌上,并且没有登录视图,当列表中80%的页面具有相同的标题和描述/预览时,它看起来非常糟糕。
与我的默认未登录视图一起发送401未经授权的标头是否是一个不错的选择?这会阻止谷歌(和其他引擎)索引这些页面吗?
谢谢!
(如果你有另一个(更好的?)解决方案,我很乐意听到它!)
答案 0 :(得分:4)
使用robots.txt告诉搜索引擎不要为未登录的页面编制索引。
实施例
User-agent: *
Disallow: /error/notloggedin.html
答案 1 :(得分:3)
401 Unauthorized
是需要用户身份验证的请求的响应代码。所以这正是您想要和必须发送的响应代码。 Status Code Definitions
编辑:您之前的建议,响应代码403
,用于请求,其中身份验证没有区别,例如。禁用目录浏览。
答案 2 :(得分:1)
这是googlebot理解和推荐的状态代码。 http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40132 在你的情况下,HTTP 403将是正确的。