我的网站存在性能问题，部分原因是机器人造成的。我检查了我的AWStats，发现一些IP地址占用了大量的带宽。如何判断将这些列入黑名单是否安全？少数人每月吃掉2 GB或更多，持续不断。
见此截图： https://ibb.co/hJ6hmR
我尝试了对这些IP进行IP查找，但我怎么知道它是否应该保留，就像已知的抓取工具一样？
我还检查了AWStats中的Crawlers，但我没有看到IP地址，所以我无法分辨它的来源。一个未知的机器人吃了11 GB，而Googlebot只用了1 GB。 https://ibb.co/cWDCmR
如何挑出糟糕的抓取工具？
答案 0 :(得分：0)
如果您使用Apache
，可以尝试禁止.htaccess中的机器人BrowserMatchNoCase thisisthebotname bad_bot
Order Deny,Allow
Deny from env=bad_bot
但你需要机器人的用户代理