Google App Engine - 任务队列与Cron Jobs

时间:2009-06-22 15:16:22

标签: google-app-engine cron

最新的Google App Engine版本支持Python中的新Task Queue API。我正在比较此API与现有Cron service的功能。对于非用户启动的后台作业,例如抓取RSS源并按日间隔解析它。任务队列API可以并且应该用于非用户发起的请求吗?

3 个答案:

答案 0 :(得分:24)

我会说“有点”。关于任务队列要记住的事情是:

1)每分钟/小时/天的操作限制与定期重复某些操作不同。即使将令牌桶大小设置为1,我也不认为您可以保证这些重复将均匀分布。这取决于他们说队列被实现为令牌桶时的严重程度,以及该语句是否应该是接口的保证部分。这是实验室,没有任何保证。

2)如果任务失败则会重新排队。如果一个cron作业失败,那么它会被记录,直到它再次到期才会被重试。因此,cron作业的行为方式不同于添加自身副本然后刷新Feed的任务,或者作为刷新Feed的任务,然后添加自身副本。

很可能使用任务模拟cron作业,但我怀疑这是值得的。如果你正在尝试解决一个运行时间超过30秒(或达到任何其他请求限制)的cron作业,那么你可以将工作分成几部分,并有一个cron作业,将所有部分添加到一个任务队列。有一些关于异步urlfetch的讨论(在GAE博客中?),这可能是更新RSS提要的最佳方式。

答案 1 :(得分:15)

在我观看谷歌I / O视频之前,我并没有很好地理解这些差异。官方消息来源通常是最好的。

youtube video

slides from the presentation

答案 2 :(得分:5)

我看待它的方式是,如果我只是解析一个RSS源,那么Cron作业可能就足够了。如果我必须解析用户或任何其他系统变量在运行时指定的X个RSS源,那么我每次都会选择任务。

我只是这样说,因为在过去我不得不定期执行许多用户定义的Twitter搜索并且使用Cron作业我结束了制作一个非常糟糕的排队系统来执行需要运行的请求 - 它没有规模,它没有帮助,并且一个cron作业的最小间隔只有1分钟(我有更多的搜索执行比当天的几分钟)。

关于任务的一个很酷的事情是你可以给他们一个ETA,所以你可以说我希望将来47秒执行它,或者我希望这个在12:30执行。