设置多个Cronjob以更新DB

时间:2014-02-05 06:47:46

标签: php lamp rets

目前正致力于从MLS进行数据提取并插入数据库(使用LAMP)。插入所有内容后,我想设置一个Cronjob,每2小时检查一次MLS中的增量更新。 因此,在不久的将来,我希望完成500多个MLS,从而一次运行500个Crons。

一次设置超过500个用PHP编写的cron脚本是否有任何挑战?

是否可以使用Shell脚本?

有没有替代解决方案?

由于

1 个答案:

答案 0 :(得分:0)

除非您拥有大型服务器,否则您可能会遇到一些资源限制,试图通过cron立即更新500个MLS源。

相反,您应该查看维护队列的作业服务器,然后定义n个工作数以从队列中获取最高项并开始处理。完成MLS后,工作人员可以自由地执行另一个MLS。根据可用的资源/服务器,您可以调整可以通过工作人员运行的并行更新数量

查看类似http://gearman.org/http://resquework.org/

的内容

实际上,每个替代方案都可以在这里找到:http://queues.io/