用于长期工作的PHP Cron Job的替代方案

Question

我们有一个网站，实时列出博客链接。问题是页面加载缓慢，因为它们正在从各个源站点读取数据。

我编写了一个PHP脚本，用于创建每个页面的HTML版本。每小时运行一次。问题是PHP脚本在完成所有页面之前超时。我知道我可以增加PHP脚本允许的执行时间，但这似乎不是解决问题的最有效方法。

还有其他办法吗？我只是不知道该怎么开始寻找 - PERL？ JAVA？蟒蛇？这些脚本如何在服务器上运行？我应该从我的网络主机那里寻找什么？

Answer 1

带urllib2的Python可能会做得很好。另外，我是否理解这一点：您有一个聚合来自其他网站的数据的网站，并且它都是生成的静态HTML？听起来你有点使用HTML作为数据库，所以也许可以考虑使用合适的数据库。

Answer 2

鉴于您的原始问题是网络延迟（“页面加载速度慢”），我认为没有理由相信PHP是这里的瓶颈。我怀疑更改语言会影响脚本运行时间。

Answer 3

一个不同的解决方案可能是使用数据库，而不是立即咬掉那么多工作。制作一张表格列出您提取的网站，并在上次提取时存储。然后将cron拉出1或2，暂时没拉。如果它经常运行，那么你将始终拥有新数据，但脚本将更容易工作，因为它不会立即尝试这么做。这个概念可以很好地扩展。