您好我正在尝试抓取一个网站,特别是www.cvedetails.com和所有CVE,在大约600 CVE之后我收到了这个错误:
Maximum execution time of 30 seconds exceeded in phar:///root/PHP/VULDRONE/goutte.phar/vendor/symfony/dom-crawler/Symfony/Component/DomCrawler/Crawler.php on line 173
我已将max_execution_time
中的php.ini
值更改为900秒,但显然它无法正常工作。
我在X请求后也使用了一个睡眠但没有成功,试图改变用户代理也一样。
我不知道什么不能阻止你爬行。
提前谢谢