哪些抓取工具正在抓取我的网站

Question

最近我们的主网站已成为两个爬虫80legs和magpie-crawler的受害者。这两个网站都放慢了速度（80分甚至崩溃了）。现在我正在努力寻找一种有效的方法来跟踪我们抓取我们网站的蜘蛛。我考虑过将每个页面请求的用户代理存储到数据库中以便稍后进行分析。但我不确定这是不是最好的方法。任何意见或建议我们赞赏。

BTW我知道检查用户代理不会透露所有网络抓取工具，但我认为现在这已经足够了。