我有一个php脚本,可以抓取网页并将抓取的数据插入到数据库中
php脚本使用Phantomjs作为刮取网页的工具
php脚本在特定域上擦除网页
例如:
www.example.com/firstFolder
www.example.com/secondFolder
等等
我的问题是,phantomjs不会保留脚本中已经请求的先前网页的缓存,而只是重新下载它们。
我的猜测是phantomjs不会缓存它加载的以前的网页,因为我每次需要刮取某个网页时都会将php脚本中的phantomjs称为外部程序。
$response = shell_exec('phantomjs getWebPage.js');
由于我每次都将phantomjs作为一个外部程序回忆起来,它可能没有任何对以前刮过的网页的记忆。
我明白如果我在一个实例中运行phantomjs,我可以保持Phantomjs缓存
但是我不知道如何在不放弃我的程序中的php的情况下如何做到这一点
所以我的问题是这个。
如何在php中运行我的程序时保持phantomjs缓存?