我在.net为酒精公司创建了一个网络应用程序。
客户要求拒绝对网站的所有访问权限，除非用户同意他们在县内的年龄并且他们同意这些条款。
要实现此功能，我只需将所有流量重定向到验证页面，在该页面中，他们可以设置新会话以表明他们已同意（此次访问）这些条款。设置会话后，该站点即可完全访问。
我的问题是，我想google等人抓取并索引网站上的所有网页。如何确保机器人不会在年龄验证页面中被捕获，这里的最佳做法是确保我的整个网站都被抓取。
答案 0 :(得分：6)
.NET Framework的HttpWebRequest负责大部分工作。
在代码隐藏文件的Page_Load中，您可以轻松检查抓取工具：
if(Request.Browser.Crawler)
如果其抓取工具（例如GoogleBot）手动绕过年龄验证