Python多线程ZeroMQ REQ-REP

Question

我希望使用多线程实现Python和ZeroMQ的REQ-REP模式。

使用Python，我可以在新客户端连接到服务器时创建新线程。该线程将处理与该特定客户端的所有通信，直到套接字关闭：

# Thread that will handle client's requests
class ClientThread(threading.Thread):
    # Implementation...
    def __init__(self, socket):
        threading.Thread.__init__(self)
        self.socket = socket
    def run(self):
        while keep_alive:
            # Thread can receive from client
            data = self.socket.recv(1024)
            # Processing...
            # And send back a reply
            self.socket.send(reply)

while True:
    # The server accepts an incoming connection
    conn, addr = sock.accept()
    # And creates a new thread to handle the client's requests
    newthread = ClientThread(conn)
    # Starting the thread
    newthread.start()

是否可以使用ZeroMQ执行相同的[*]？我已经看到了一些使用ZeroMQ和Python进行多线程处理的例子，但是在所有这些例子中，一开始就创建了一个线程池，其中包含一定数量的线程，并且它似乎更倾向于负载均衡。

[*]注意我想要的是保持客户端和它的线程之间的连接，因为线程期望来自客户端的多个REQ消息，它将存储必须保留在消息之间的信息（即：变量计数器在新REQ消息上递增其值;因此每个线程都有自己的变量，其他客户端都不应该能够访问该线程）。新客户=新线程。

Answer 1

是的，ZeroMQ是一个功能强大的Can-Do工具箱

然而，令人惊讶的是，ZeroMQ＆lt; socket ＆gt; -s的结构远远超过他们在样本中使用的普通对应物。

{aZmqContext - ＆gt; aZmqSocket - ＆gt; aBehavioralPrimitive}

ZeroMQ在“单身”ZMQ- Context 的引导下构建了一个卓越的，抽象丰富的框架，这是（并将保留）唯一用作“共享”的东西。

线程不应“共享”任何其他“派生”对象，其状态越少，因为实施了强大的分布式责任框架体系结构，无论是在清洁设计还是高性能和高性能方面。低延迟。

对于所有ZMQ- Socket -s，我们应该想象一个更智能，更分层的子结构，其中一个人接收有关I / O活动的卸载担忧（在内部管理） ZMQ- Context 责任 - 因此保持活动问题，时间问题和公平队列缓冲/选择轮询问题简单地停止为您显示。 ..），有一种正式的沟通模式行为（由选定的ZMQ - Socket - 类型原型给出。）

最后

ZeroMQ 和类似的 nanomsg 库是相当类似乐高的项目，它们使您，作为架构师和设计师，不仅仅是一个人在一开始就意识到的。

因此可以专注于分布式系统行为，而不是浪费时间和精力来解决另一个套接字消息 - [噩梦]。

（绝对值得一看来自ZeroMQ的共同父亲Pieter Hintjens的两本书。你在这个伟大的主题上找到了很多Aha！-moments。）

...作为一个蛋糕上的樱桃 - 无论是在 inproc:// 上传递一些消息，还是在其他地方传递消息，您都可以将这一切视为与传输无关的通用环境strong> ipc:// ，也可以通过 tcp:// 图层同时收听/说话。

<强> EDIT#1 2014-08-19 17:00 [UTC+0000]

请检查下面的评论，并进一步检查您的 - 初级和高级 - 设计选项，以便＆lt; 琐事失败 - ＆gt; -spin-off处理，＆lt; 负载均衡＆gt; -REP-worker排队，用于＆lt; 可扩展＆gt; - 分布式处理和＆lt; _faul-resilient_mode_＆gt; -REP-worker二进制文件 - 开始着色处理。

没有模拟SLOC堆，没有单个代码示例可以执行One-Size-Fits-All。

这在设计分布式消息传递系统时具有指数级效果。

很抱歉这么说。

伤害，但确实如此。

"""REQ/REP modified with QUEUE/ROUTER/DEALER add-on ---------------------------

   Multithreaded Hello World server

   Author: Guillaume Aubert (gaubert) <guillaume(dot)aubert(at)gmail(dot)com>

"""
import time
import threading
import zmq

print "ZeroMQ version sanity-check: ", zmq.__version__

def aWorker_asRoutine( aWorker_URL, aContext = None ):
    """Worker routine"""
    #Context to get inherited or create a new one trick------------------------------
    aContext = aContext or zmq.Context.instance()

    # Socket to talk to dispatcher --------------------------------------------------
    socket = aContext.socket( zmq.REP )

    socket.connect( aWorker_URL )

    while True:

        string  = socket.recv()

        print( "Received request: [ %s ]" % ( string ) )

        # do some 'work' -----------------------------------------------------------
        time.sleep(1)

        #send reply back to client, who asked --------------------------------------
        socket.send( b"World" )

def main():
    """Server routine"""

    url_worker = "inproc://workers"
    url_client = "tcp://*:5555"

    # Prepare our context and sockets ------------------------------------------------
    aLocalhostCentralContext = zmq.Context.instance()

    # Socket to talk to clients ------------------------------------------------------
    clients = aLocalhostCentralContext.socket( zmq.ROUTER )
    clients.bind( url_client )

    # Socket to talk to workers ------------------------------------------------------
    workers = aLocalhostCentralContext.socket( zmq.DEALER )
    workers.bind( url_worker )

    # --------------------------------------------------------------------||||||||||||--
    # Launch pool of worker threads --------------< or spin-off by one in OnDemandMODE >
    for i in range(5):
        thread = threading.Thread( target = aWorker_asRoutine, args = ( url_worker, ) )
        thread.start()

    zmq.device( zmq.QUEUE, clients, workers )

    # ----------------------|||||||||||||||------------------------< a fair practice >--
    # We never get here but clean up anyhow
    clients.close()
    workers.close()
    aLocalhostCentralContext.term()

if __name__ == "__main__":
    main()