我想写一个python
脚本(称之为父)来执行以下操作:
(1)定义了一个多维numpy
数组
(2) forks
10个不同的python
脚本(称之为儿童)。他们每个人都必须能够read
来自(1)的任何单个时间点的numpy
数组内容(只要它们还活着)。
(3)每个子脚本都会自行完成工作(儿童不要互相分享任何信息)
(4)在任何时间点,父脚本必须能够接受来自其所有子项的邮件。这些消息将由父进行解析,并导致(1)中的numpy
数组发生更改。
在python
环境中Linux
工作时,如何解决此问题?我想过使用zeroMQ
并让父成为一个订阅者,而孩子将全部是发布者;它有意义还是有更好的方法呢?
此外,如何让所有孩子连续读取由父级定义的numpy
数组的内容?
答案 0 :(得分:14)
sub
频道不一定是要绑定的频道,因此您可以让订阅者绑定,并且每个子pub
个频道都可以连接到该频道并发送其消息。在这种特殊情况下,我认为multiprocessing
模块更适合,但我认为它提到了:
import zmq
import threading
# So that you can copy-and-paste this into an interactive session, I'm
# using threading, but obviously that's not what you'd use
# I'm the subscriber that multiple clients are writing to
def parent():
context = zmq.Context()
socket = context.socket(zmq.SUB)
socket.setsockopt(zmq.SUBSCRIBE, 'Child:')
# Even though I'm the subscriber, I'm allowed to get this party
# started with `bind`
socket.bind('tcp://127.0.0.1:5000')
# I expect 50 messages
for i in range(50):
print 'Parent received: %s' % socket.recv()
# I'm a child publisher
def child(number):
context = zmq.Context()
socket = context.socket(zmq.PUB)
# And even though I'm the publisher, I can do the connecting rather
# than the binding
socket.connect('tcp://127.0.0.1:5000')
for data in range(5):
socket.send('Child: %i %i' % (number, data))
socket.close()
threads = [threading.Thread(target=parent)] + [threading.Thread(target=child, args=(i,)) for i in range(10)]
for thread in threads:
thread.start()
for thread in threads:
thread.join()
特别是,文档的Core Messaging Patterns部分讨论了这样一个事实:对于模式,任何一方都可以绑定(和另一方连接)。
答案 1 :(得分:4)
我认为使用PUSH / PULL套接字更有意义,因为您有一个标准的Ventilator - Workers - Sink方案,除了Ventilator和Sink是相同的过程。
另外,请考虑使用multiprocessing模块而不是ZeroMQ。它可能会更容易一些。
答案 2 :(得分:-1)
在ZeroMQ中,每个端口只能有一个发布者。唯一(丑陋)的解决方法是在不同的端口上启动每个子PUB套接字,并让父监听所有这些端口。
但管道模式在0MQ上描述,用户指南是一种更好的方法。