我有一个包含数百万条记录的网站，可以按不同的标准进行搜索，结果显示在页面中。
在Google Analytics的帮助下，我突然看到一些ROBOT正在逐页浏览我的整个数据。
是否有任何技术可用于阻止用户遍历所有页面，或检查每个页面上是否为人类用户？
答案 0 :(得分：1)
有一些技巧可以减慢google-bot的速度：
最简单的方法是制作一个javascript方法，计算用户在切换到下一页之前花费的时间。如果它切换到快速，则决定结果（加载屏幕，错误，禁止会话）。
如果使用apache2，.htaccess中还有一些服务器设置会限制用户在给定时间内的交互。
您可以阅读this以获取更多参考资料：