我想使用phantomjs截取许多页面。
如果我有超过1000的页面,问题是如何处理,因为目前代码崩溃了phantomjs:
这是 aobj :
的示例var aobj = '[{"kb":21.047829999999976,"jb":52.174250000000015,"ff":110.16456426650427},{"kb":21.047997078651633,"jb":52.17421235955058,"ff":110.16456426650427},{"kb":21.048164157303404,"jb":52.17417471910114,"ff":110.16456426650427},{"kb":21.04833123595506,"jb":52.1741370786517,"ff":110.16456426650427},{"kb":21.048498314606718,"jb":52.174099438202255,"ff":110.16456426650427},{"kb":21.04866539325849,"jb":52.17406179775282,"ff":110.16456426650427},{"kb":21.048832471910146,"jb":52.17402415730338,"ff":110.16456426650427},{"kb":21.048999550561803,"jb":52.173986516853944,"ff":110.16456426650427}]'
......还有更多
其余代码:
aobj = JSON.parse(aobj);
function tes_par(nrr,jbb,kkb,hhf)
{
var page = require('webpage').create();
page.viewportSize = { width: 600, height: 480 };
console.log(nrr);
page.open('http://maps.googleapis.com/maps/api/streetview?size=640x480&location='+jbb+','+kkb+'&pitch=-0.760&sensor=false&heading='+hhf, function ()
{
page.render(nrr + '.png');
});
}
for (var i=0;i<aobj.length;i++)
{
tes_par(i,aobj[i].jb,aobj[i].kb,aobj[i].ff);
}
我认为这是因为JS一次可以运行一个代码,因此它会消耗所有资源,但我不知道如何等待 page.open 和 page.render 并等待这些功能的调用次数超过1000次。
我也试过使用setTimeout,但又没有成功:
aobj = JSON.parse(aobj);
function tes_par(nrr,jbb,kkb,hhf)
{
var page = require('webpage').create();
page.viewportSize = { width: 600, height: 480 };
console.log(nrr);
page.open('http://maps.googleapis.com/maps/api/streetview?size=640x480&location='+jbb+','+kkb+'&pitch=-0.760&sensor=false&heading='+hhf, function ()
{
page.render(nrr + '.png');
});
}
function aa_bb(ii)
{
var jj=0;
(ii+500<aobj.length) ? jj=ii+500 : jj=aobj.length;
for (var i=ii;i<jj;i++)
{
tes_par(i,aobj[i].jb,aobj[i].kb,aobj[i].ff);
}
};
aa_bb(1);
setTimeout(function(){aa_bb(501)},120000);
答案 0 :(得分:2)
尝试在每次渲染后调用page.close()
。 docs提及在不关闭的情况下重用相同的对象可以防止垃圾回收。
答案 1 :(得分:2)
见Using Multiple page.open in Single Script。基本思路是在传递给上一页打开的函数结束时打开下一页。否则,你会立刻打开一堆页面,随之而来的是混乱。
aobj = JSON.parse(aobj);
var page = require('webpage').create();
page.viewportSize = { width: 600, height: 480 };
function tes_par(nrr,jbb,kkb,hhf)
{
console.log(nrr);
page.open(
'http://maps.googleapis.com/maps/api/streetview?size=640x480&location='+jbb+','+kkb+'&pitch=-0.760&sensor=false&heading='+hhf,
function ()
{
page.render(nrr + '.png');
setTimeout(function(){next_thingie(nrr+1);},100);
}
);
}
function next_thingie(i)
{
if(i>=aobj.length){return;}
tes_par(i,aobj[i].jb,aobj[i].kb,aobj[i].ff);
}
next_thingie(0);
<强>更新强>
在我查看自己的代码(有效)之后,上面的代码已从早期版本更改,并发现我没有正确应用此问题。变更包括:
仅创建一次页面。
在 page.open
函数中对下一页进行递归调用。
应用一点暂停来帮助PhantomJS屏住呼吸。
这种方法适用于从大约80个文件中捕获大约300个屏幕截图。