我正在使用Bing Azure Web Search Api在元搜索网站上工作。 从2天开始（一个月没有问题）我面临避免从恶意机器人接收垃圾邮件搜索的问题。 他们没有充斥网站，他们以慢速模式（1或2个查询/秒）进行查询。 IP都是不同的，它们不在任何公共黑名单中，显然我不能将captha用于搜索界面！
如何避免这个问题？
答案 0 :(得分：1)
一个常见的诀窍是将robots.txt设置为禁区，然后将一些不可见的链接洒入此僵尸陷阱。人类访客不会发现它在那里，乖巧的机器人不会去那里。也许你想给偶尔的访问者带来怀疑的好处，但重复犯罪者可以被列入黑名单并在TCP级别上被拒绝（或者更好的是，将他们引用到http://projecthoneypot.org/）