芹菜与Ipython平行

Question

我已经查看了两者的文档，但我不确定给定应用程序的最佳选择。我已经仔细研究过芹菜了，所以这个例子就是这样的。

我的用例与此question类似，每个工作人员远程加载一个大文件（每台机器一个文件），但是我还需要工作人员来包含持久对象。因此，如果一个worker完成一个任务并返回一个结果，那么然后再次调用，我需要为新任务使用一个先前创建的变量。

在每次任务调用时重复创建对象太浪费了。我没有看到一个芹菜的例子让我相信这是可能的，我希望用worker_init signal来完成这个。

最后，我需要一个中央枢纽来跟踪所有工人正在做的事情。这似乎意味着客户端 - 服务器架构而不是Celery提供的架构，这是正确的吗？如果是这样的话，根据要求，IPython Parallel会是一个不错的选择吗？

Answer 1

我目前正在评估Celery与IPython并行。关于跟踪工人正在做什么的中心枢纽，你有没有看过芹菜花项目here？它提供了一个网页，允许您查看队列中所有任务的状态。