使用python和zeromq分发任务

Question

我有一个使用python和zeromq的工作应用程序，我想优化它。

简而言之，主节点向所有工作人员（约200人）发送相同的请求，然后收集答案。根据答案，它将消息发送回一个节点，节点回复。

现在我实现了一个非常简单的模式。每个worker都有一个REP套接字，服务器有一个REQ套接字列表。服务器遍历发送一般消息的所有套接字，然后遍历所有套接字以收集答案。最后，根据答案，服务器选择一个工作人员，向其发送一条消息并等待回复。

这当然很慢。最慢的部分是发送相同消息的200倍。收集也很慢。我发现分发任务和收集答案的解决方案会产生负载平衡，这不是我需要的。我需要每个工作人员收到消息并做出回应。

这种情况推荐的模式是什么？

由于

Answer 1

如果每个工人都需要不同的工作，Pub / sub就不会工作。那么你需要的是一个工作池实现。要么以循环方式推出作业（只需使用绑定在服务器上的推送套接字并让每个客户端从中拉出，zeromq将执行循环），或者让每个工作人员从服务器请求作业，如果工作至少是一些最小的复杂性，工作之间的差异很大，这是一种更好的方法。 zeromq指南在其主页和网络上有很多例子：

• http://zguide.zeromq.org/page:all（看看paronoid海盗模式）
• http://blog.garambrogne.net/post/2010/10/23/simple-python-work-queue-with-zeromq
• https://github.com/marklit/zeromq-worker-queue

具体实施还取决于您是否需要可靠地处理作业。

Answer 2

我不知道zmq。这是一个可能不起作用的模式，只是为了开始：

  

主节点向所有工作人员发送相同的请求（约200个）

掌握PUB绑定*：3140发送

工作人员SUB连接masterhost：3140 SUBSCRIBE recv

  

然后收集答案

worker PUSH connect masterhost：3141 send

掌握PULL绑定*：3141 recv

  

根据答案，它会将消息发送回一个节点，节点会回复。

主要REQ连接workerhost：3142发送recv

worker REP bind *：3142 recv send