如何阻止恶意爬虫爬行

时间:2015-10-26 12:46:31

标签: php web-crawler scrapy

所以,我有一个eshop(php),并注意到一些竞争对手总是将价格改为低于我的价格。我认为他们正在抓取我的网站价格。有没有办法阻止它?

我认为其中一个解决方案是阻止爬虫IP,但我不知道它是哪个IP。

如果请求太多,我可以阻止吗?

1 个答案:

答案 0 :(得分:0)

考虑为您的网站启用reCAPTCHA,请参阅例如https://www.google.com/recaptcha/intro/index.html