队列系统农场问题

Question

到目前为止，我们还没有真正需要在我们的基础架构中实现队列系统，但现在我们需要一些无法通过cron作业完成的功能（太慢）。

我们的基础设施是LAMP（PHP）和一些NoSQL。

我看过Gearman，它似乎非常适合我们的需求。我知道Digg使用它，以及雅虎，所以它必须是可靠的。

• 是否有任何管理工具会在工作人员死亡或创建新任务时自动启动工作人员？

• 如何在同一个基础架构下处理多个项目（项目A有5个任务，项目B有10个，项目C有1个）

• 有没有办法轻松完成定期任务？

我见过Celery它看起来不错但看起来它只适用于AMQP（或仅适用于RabbbitMQ），但它是在python中，而且我没有找到关于你是否可以使用非python任务的更多信息。

谢谢

Answer 1

Celery支持webhook任务，使其能够通过HTTP呼叫其他语言：

http://celeryq.org/docs/userguide/remote-tasks.html

Celery还支持Redis，MongoDB，MySQL / PostgreSQL / Oracle和beanstalkd： http://celeryq.org/docs/tutorials/otherqueues.html

RabbitMQ是最可靠的选择。