如何记录每个机器人（谷歌，雅虎等）访问我的网站

Question

如何记录每个机器人访问我网站的记录/日志。我想知道抓取工具抓取我的网站以及索引或抓取哪些网页的频率。是否有任何PHP脚本，我可以用来了解谷歌，雅虎和其他机器人的访问。

Answer 1

解析用户代理的日志文件 我首先有单独的日志文件 谷歌剩下的自己或考虑接受一些答案

Answer 2

使用awstats或robotstats， 它会完成这项工作。