Goutte超过了30秒的最长执行时间

时间:2015-05-28 11:19:55

标签: php web-crawler ddos goutte flooding

您好我正在尝试抓取一个网站,特别是www.cvedetails.com和所有CVE,在大约600 CVE之后我收到了这个错误:

Maximum execution time of 30 seconds exceeded in phar:///root/PHP/VULDRONE/goutte.phar/vendor/symfony/dom-crawler/Symfony/Component/DomCrawler/Crawler.php on line 173

我已将max_execution_time中的php.ini值更改为900秒,但显然它无法正常工作。

我在X请求后也使用了一个睡眠但没有成功,试图改变用户代理也一样。

我不知道什么不能阻止你爬行。

提前谢谢

0 个答案:

没有答案