casperjs:Phantomjs仍在进行中

时间:2016-07-22 18:57:07

标签: memory-leaks cron phantomjs casperjs

这是我在linode中托管的Ubuntu 14.04服务器中top显示的图片:

enter image description here

我对linux系统或casperjs的了解非常有限,所以我将尝试尽可能准确地描述我对casperjs的使用。

Mine是一个内容网站,发布她之前在Youtube,v.qq.com和Blog.sina.com.cn上发布的所有者的内容。她想要网站显示" Hits"来自这些网站。因此,我使用http://www.weiwei-tv.com/scrape/scrape.js来截取youtube和v.qq.com上显示的视频播放时间,并使用http://www.weiwei-tv.com/scrape/scrape-sinaboke.js来截取来自blog.sina.com.cn的文章点击,然后我将数据保存在。 json文件,以便我的网站可以使用它们。请注意,因为v.qq.com在中国并且从我的服务器开始很慢,所以我在脚本中为它的URL留了很长的等待时间。

为了保持数据更新,我分别为它们创建了两个不同的cron作业。第一个.js每30分钟运行一次,第二个每天午夜运行。我认为值得一提的是,之前我将第二个cron作业设置为每小时运行一次,问题比上图所示更糟糕 - 我看到了大约十个幻像进程,每个进程消耗3~5个%CPU。

enter image description here

首先,我认为这个问题可能是因为casperjs脚本没有正确退出(),对吗? 话虽这么说,第一个脚本出现了问题:有时候,当试图从v.qq.com抓取视频播放时间时脚本停止运行(我还没能弄清楚原因,但是它可能与v.qq.com如何处理请求有关,所以它有可能没有exit正确并保持活着吗?

其次,因为我的第一个脚本中有很多URL需要抓取,有时它们可​​以继续运行超过30分钟,这意味着当最后一个cron作业尚未完成时,下一个预定的cron作业将开始运行。这是否会产生任何问题,是否可能是问题的原因?

提前致谢。

0 个答案:

没有答案