我正在创建一个ASP.NET网站，强迫用户接受免责声明。当他们接受免责声明时，会设置cookie和会话。在每个页面请求上都会触发一个检查，以查看会话或cookie是否存在。
我们希望Google和其他Searchbots能够在不接受免责声明的情况下对所有网页进行索引/抓取。
最好的方法是什么？我唯一可以考虑的是检查Request.ServerVariables，但我不确定我应该寻找的女巫价值观？
答案 0 :(得分：1)
如果Googlebot路过，您需要绕过会话/ coockie的检查。
所以在这个检查中你确实需要查看ServerVariables。例如。对于Google来说，这就像是
HttpContext.Current.Request.ServerVariables["HTTP_USER_AGENT"].Contains("Googlebot"))
当然，任何冒充谷歌的人现在也可以跳过免责声明。
我不会把这个叫做cloacking - 但不保证google是否喜欢它
答案 1 :(得分：-1)
你必须为此添加元标记，否则使用web.config meta标签以这种方式拒绝访问
<meta name="robots" content="noindex nofollow">
特别针对谷歌
<meta name="googlebot" content="noindex">