如何使不遵守我的robots.txt文件的网页抓取工具崩溃？

Question

我应该向坏网络抓取工具发送哪些数据，以便我可以将其崩溃？

Answer 1

更好的策略是制作黑名单。许多恶意爬虫寻找＆＃34;标准＆＃34;网址。例如，我没有运行PHP网站，所以我知道如果有人向我请求PHP文件，他们就会进行网络钓鱼。所以我阻止它们：立即无条件地阻止它们。

使用www.projecthoneypot.org的服务，帮助您识别＆＃34; suspicious＆＃34;抓取工具：然后您可以决定让它们继续或阻止它们。

如果你真的想要，你可以发送大量文件而不是阻止它们，但请记住：它们是机器人和机器人。在世界上有耐心。