我正在寻找一个可以在几台服务器上分配任务的Python库。该任务类似于单个机器中subprocess库可以并行化的任务。
我知道我可以为此目的设置Hadoop系统。但是Hadoop很重。在我的情况下，我想使用共享网络磁盘进行数据I / O，我不需要任何花哨的故障恢复。在MapReduce的术语中，我只需要映射器，没有聚合器或缩减器。
Python中的任何此类库？谢谢！
答案 0 :(得分：3)
尝试使用celery。
Celery是一个基于分布式的异步任务队列/作业队列 消息传递。它专注于实时操作，但支持 调度也是如此。
执行单元，称为任务，在a上同时执行 使用多处理，Eventlet或的单个或多个工作服务器 GEVENT。任务可以异步执行（在后台）或 同步（等到准备好了。）