多处理与运行多个Python解释器

时间:2015-06-12 12:02:31

标签: python multiprocessing

对于长期运行,令人尴尬的并行任务,使用多处理与并行运行多个python解释器有什么好处?

目前,我只是启动了几个python解释器,它们对输入数据片进行分析,每个解析器都将结果转储到一个单独的pickle文件中。切片输入数据以及组合结果是微不足道的。我在OS X和Linux上使用python 3.4。

使用多处理模块重写代码值得付出努力吗?在我看来不是,但那时我远离专家......

1 个答案:

答案 0 :(得分:1)

嗯,多处理的一个优点是有用于进程间通信的工具,您可以使用具有不同种类限制的共享变量。但如果你不需要,你的方法是完全可行的。你在做什么基本上是大多数地图减少系统自动化的。我确信在运行整个其他翻译时会有轻微的性能损失,但这可能是微不足道的。