最近,当我通过AWStats查看我的网络统计数据时,我看到了一些与我有关的事情。第一个是“机器人/蜘蛛访客”标签下列出的“未知机器人”。第二个也是最关注的一行是同一个AWStats机器人选项卡下的“A PHP脚本”。我在我的网站上运行的内容不应被其他网站的PHP脚本提取。有没有办法在Apache日志中记录这个?换句话说,如何判断脚本是否由PHP脚本调用(通过日志或PHP函数)?最后,下面列出的图像显示了我所描述的内容。正如你所看到的,来自普通机器人的数据 - Googlebot - 数百个,而来自'未知机器人'的数量大约为70万。
答案 0 :(得分:1)
没有100%的方法可以做到这一点,因为无论哪种脚本连接到您的网站,它都可以使它看起来像浏览器,所以你永远不会知道。
我唯一想到的是 - 他们称“PHP脚本”请求包含$_SERVER['HTTP_USER_AGENT']
中特定的内容,例如以PHP/
开头的用户代理,例如PHP/5.2.9
。