防止未知机器人抓取我的网站并节省带宽

时间:2016-02-29 03:25:07

标签: php web drupal-7

我有一个drupal经营的小网站。它不是商业性的,即:没有收入。该站点位于共享主机中,因此带宽和资源有限。 该网站遇到"带宽超过"因为机器人和蜘蛛正在使用超过60%的带宽,所以每个月都会出现问题。最大值是:

未知机器人(由' bot'后面跟一个空格或以下字符之一_ + :,。; / - )

超过10GB带宽,1 GB转到googlebot(没关系)

6 GB转到未知机器人(由' bot'后面跟一个空格或以下字符之一_ +:,。; / - )。

500MB用于识别为机器人的未知机器人

其他500 MB用于识别为蜘蛛,爬行,空用户代理等的机器人。

那还剩下什么?访客不到2GB。

我如何识别或阻止坏机器人?请建议我一些防止它的方法。

0 个答案:

没有答案