我在网站上的/ cachecp /目录中收到来自网络爬行机器人的大量请求（该目录在我的服务器上不存在，但我认为是黑客机器人正在寻找漏洞。） IP完全不同，所以我无法阻止IP。
我得到的请求如下： mydomain.com/cachecp/helps/wholesale-plus-size-clothing.html 但文件夹和html文件都不存在（或曾经存在）。 html文件似乎完全随机，与我的产品无关。
我是否可以使用htaccess向尝试访问该文件夹的任何机器人发出403错误和/或多次尝试禁止该IP？
答案 0 :(得分：0)
在robots.txt档案中使用此功能
User-agent: *
Disallow: /cachecp/
请记住，robots.txt是'绅士协议'，一些不那么谨慎的机器人会完全忽视你的规则。