答案 0 :(得分：6)
不是真的。无论如何，大多数“坏机器人”都会忽略robots.txt文件。
滥用抓取通常意味着抓取。这些机器人正在出现收集电子邮件地址或更常见的内容。
至于如何阻止它们？这真的很棘手，往往不明智。反爬行技术往往不够完美，并且会给普通人带来问题。
可悲的是，就像零售业的“收缩”一样，这是在网上开展业务的成本。
答案 1 :(得分：1)
用户代理（包括抓取工具）没有义务尊重您的robots.txt。您可以做的最好的事情是尝试识别滥用访问模式（通过网络日志等），并阻止相应的IP。