Question

我想使用multiprocessing.Manager（）对象，这样我就可以异步地从工作人员向管理器发送信息，以便将信息发送到服务器。我所拥有的是将PDF写入磁盘的大约10个实例。然后我想使用多处理包中的manager对象将该数据发送到我的S3存储桶，因为我不想阻止本地内容的生成。

所以我想知道我是否创建了一个自定义管理器对象，这是正确的方法吗？提交给经理对象的每个进程是否会排队？或者，如果我呼叫多次上传，经理是否会放弃一些电话？

以下是我正在考虑的示例代码：

from multiprocessing.managers import BaseManager

class UploadClass(object):
    def upload(self, filePath, params, destUrl):
        # do stuff
        return results

class MyManager(BaseManager):
    pass

MyManager.register('uploads', UploadClass)

if __name__ == '__main__':
    manager = MyManager()
    manager.start()
    upload = manager.uploads()
    # do this wait for completion or do they perform this async
    print upload.upload(r"< path >", {...}, "some url")
    print upload.upload(r"< path >", {...}, "some url")

Answer 1

直接回答您的一些问题：

提交给经理对象的每个进程都会排队吗？

Manager服务器生成一个新线程来处理每个传入请求，因此您的所有请求将立即开始处理。你可以在multiprocessing/managers.py：

中看到这个

def serve_forever(self):
    '''
    Run the server forever
    '''
    current_process()._manager_server = self
    try:
        try:
            while 1:
                try:
                    c = self.listener.accept()
                except (OSError, IOError):
                    continue
                t = threading.Thread(target=self.handle_request, args=(c,))
                t.daemon = True
                t.start()
        except (KeyboardInterrupt, SystemExit):
            pass
    finally:
        self.stop = 999
        self.listener.close()

如果我呼叫多个上传，管理员会丢弃一些电话吗？

不，没有任何电话会被删除。

# do this wait for completion or do they perform this async
print upload.upload(r"< path >", {...}, "some url")
print upload.upload(r"< path >", {...}, "some url")

对upload.upload的两次调用都是同步的;在UploadClass.upload完成之前，他们不会回来。但是，如果您要同时调用upload.upload多个脚本/线程/进程，则每个唯一调用将在Manager服务器进程中的自己的线程内同时发生。

你最重要的问题是：

这是正确的方法吗？

如果我理解这个问题，我会说不。如果您只有一个脚本，然后在该脚本中生成十个multiprocessing.Process个实例来写出PDF，那么您应该使用另一个multiprocessing.Process来处理上传：

def upload(self, q):
    for payload in iter(q.get, None):  # Keep getting from the queue until a None is found
        filePath, params, destUrl = payload
        # do stuff

def write_pdf(pdf_file_info, q):
   # write a pdf to disk here
   q.put((filepath, params, destUrl))  # Send work to the uploader
   # Move on with whatever comes next.

if __name__ == '__main__':
    pdf_queue = multiprocessing.Queue()

    # Start uploader
    upload_proc = multiprocessing.Process(upload, args=(pdf_queue,))
    upload_proc.start()

    # Start pdf writers
    procs = []
    for pdf in pdfs_to_write: 
         p = multiprocessing.Process(write_pdf, args=(pdf, pdf_queue))
         p.start()
         p.append(procs)

    # Wait for pdf writers and uploader to finish.
    for p in procs:
        p.join()
    pdf_queue.put(None) # Sending None breaks the for loop inside upload
    upload_proc.join()

如果您对并发上传确实没问题，那么根本不需要单独的upload进程 - 只需直接从pdf编写过程上传。

但是，您的问题很难说这是否正是您正在做的事情。一旦您澄清，我将调整最后一篇文章以适合您的特定用例。

正确设计Multiprocessing.Manager自定义对象

1 个答案: