Question

刚开始使用我的代码库中的multiprocessing库并行化一个简单的for循环，以前在串行for循环中，我会导入一个自定义配置.py文件并传递它成为一个可以运行的功能。

但是，我在传递配置模块时遇到了问题。

NB。我想将多个自定义configuration.py传递给不同的进程。

示例：

def get_custom_config(): 
   config_list = []
   for project_config in configs:
       config = importlib.import_module("config.%s.%s" % (prefix, project_config)
       config_list.append(config)
   return config_list

def print_config(config):
   print config.something_in_config_file

if __name__ = "__main__":
   config_list = get_custom_config()

   pool = mp.Pool(processes=2)
   pool.map(print_config, config_list)

返回：

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/multiprocessing/pool.py", line 251, in map
    return self.map_async(func, iterable, chunksize).get()
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/multiprocessing/pool.py", line 567, in get
    raise self._value
cPickle.PicklingError: Can't pickle <type 'module'>: attribute lookup __builtin__.module failed

将模块传递给并行进程的最佳方法是什么？

Answer 1

我确实有一个可能的解决方案，但我不喜欢你的方法。

config = importlib.import_module("config.%s.%s" % (prefix, project_config)

您应该尝试将配置作为键值对的字典而不是模块。或者以那种方式导入。

问题是默认情况下，{2.7}中functions和modules不可选。默认情况下，Python 3.X中的函数是可选择的，而模块仍然没有。

import importlib
import multiprocessing as mp

configs = ["abc", "def"]
import copy_reg
import types


def _pickle_module(module):
    module_name = module.__name__
    print("pickling" + module_name)
    path = getattr(module, "__file__", None)
    return _unpickle_module, (module_name, path)


def _unpickle_module(module_name, path):
    return importlib.import_module(module_name)

copy_reg.pickle(types.ModuleType, _pickle_module, _unpickle_module)


def get_custom_config():
    config_list = []
    for project_config in configs:
        config = importlib.import_module("config.%s" % (project_config))
        config_list.append(config)
    return config_list


def print_config(config):
    print (vars(config))


if __name__ == "__main__":
    config_list = get_custom_config()

    pool = mp.Pool(processes=2)
    pool.map(print_config, config_list)

这基本上是在另一个进程中重新导入模块，所以要记住你不是在它们之间共享数据。这是一个很好的只读变量。

但正如我所提到的那样，将模块传递给不同的流程并没有多大意义。尝试修复您的方法，而不是使用我发布的代码

PS：解决方案受Can't pickle <type 'cv2.BRISK'>: attribute lookup cv2.BRISK failed

启发

无法使用多进程库

1 个答案: