使用多处理模块的集合

时间:2013-05-07 09:02:47

标签: python asynchronous multiprocessing

我似乎无法使用Manager实例跨进程共享集合。 我的代码的精简版本:

from multiprocessing.managers import SyncManager
manager = SyncManager()
manager.start()
manager.register(Set)

我也尝试了register(type(Set))register(Set()),但我并不过分惊讶他们都没有工作(我认为第一个应该评估为Class)。

我在所有情况下得到的例外是在manager.py的第675行TypeError: __name__ must be set to a string object

有没有办法做到这一点,还是我需要调查替代方案?

1 个答案:

答案 0 :(得分:4)

SyncManager.register() class method的第一个参数必须是字符串,而不是cass:

SyncManager.register('set', set)

但您还需要为集合注册代理:

from multiprocessing.managers import MakeProxyType

BaseSetProxy = MakeProxyType('BaseSetProxy', (
    '__and__', '__contains__', '__iand__', '__ior__', 
    '__isub__', '__ixor__', '__len__', '__or__', '__rand__', '__ror__', '__rsub__',
    '__rxor__', '__sub__', '__xor__', 'add', 'clear', 'copy', 'difference',
    'difference_update', 'discard', 'intersection', 'intersection_update', 'isdisjoint',
    'issubset', 'issuperset', 'pop', 'remove', 'symmetric_difference', 
    'symmetric_difference_update', 'union', 'update']
    ))
class SetProxy(BaseSetProxy):
    # in-place hooks need to return `self`, specify these manually
    def __iand__(self, value):
        self._callmethod('__iand__', (value,))
        return self
    def __ior__(self, value):
        self._callmethod('__ior__', (value,))
        return self
    def __isub__(self, value):
        self._callmethod('__isub__', (value,))
        return self
    def __ixor__(self, value):
        self._callmethod('__ixor__', (value,))
        return self

SyncManager.register('set', set, SetProxy)