确定网站中的机器人

时间:2013-03-20 14:27:35

标签: asp.net bots

为了我网站的安全性,我有什么办法可以在我的网站上区分机器人和人类访问者吗?

2 个答案:

答案 0 :(得分:0)

不是真的。如果机器人想要被认可为机器人,是的,你可以。示例:搜索引擎机器人,如Googlebots。

但是,机器人确实将自己标识为普通浏览器非常容易;然后你被困住了。

如果你想要一个机器人列表,请点击此处:http://www.robotstxt.org/db.html

答案 1 :(得分:0)

执行此操作的唯一方法可能是检查当前客户端在HTTP请求中发送的User-Agent

某些机器人未指定任何或指定特定的机器人,例如 GoogleBot (Googlebot,Mozilla / 5.0)或百度蜘蛛

还有一个由useragentstring维护的列表,列出了各种机器人,自动脚本或浏览器使用的所有已知用户代理。