继续在PHPCrawl的大型网站上抓取

时间:2012-04-04 13:07:45

标签: php session

有没有办法在mysql数据库中以任何方式保存爬虫的会话并使用PHP恢复此会话? http://phpcrawl.cuab.de/

2 个答案:

答案 0 :(得分:1)

不,没有内置的方法可以做到这一点,但是,您可以通过扩展现有的类来自行添加会话管理。

答案 1 :(得分:1)

自版本0.81以来,phpcrawl能够恢复抓取过程 (http://phpcrawl.cuab.de/resume_aborted_processes.html)