我有一个drupal经营的小网站。它不是商业性的,即:没有收入。该站点位于共享主机中,因此带宽和资源有限。 该网站遇到"带宽超过"因为机器人和蜘蛛正在使用超过60%的带宽,所以每个月都会出现问题。最大值是:
未知机器人(由' bot'后面跟一个空格或以下字符之一_ + :,。; / - )
超过10GB带宽,1 GB转到googlebot(没关系)
6 GB转到未知机器人(由' bot'后面跟一个空格或以下字符之一_ +:,。; / - )。
500MB用于识别为机器人的未知机器人
其他500 MB用于识别为蜘蛛,爬行,空用户代理等的机器人。
那还剩下什么?访客不到2GB。
我如何识别或阻止坏机器人?请建议我一些防止它的方法。