Question

我是一个多处理新手，

我对线程有所了解，但我需要提高计算速度，希望通过多处理：

示例说明：将字符串发送到线程，更改字符串+基准测试，发回结果进行打印。

from threading import Thread

class Alter(Thread):
    def __init__(self, word):
        Thread.__init__(self)
        self.word = word
        self.word2 = ''

    def run(self):
        # Alter string + test processing speed
        for i in range(80000):
            self.word2 = self.word2 + self.word

# Send a string to be altered
thread1 = Alter('foo')
thread2 = Alter('bar')
thread1.start()
thread2.start()

#wait for both to finish
while thread1.is_alive() == True: pass
while thread2.is_alive() == True: pass


print(thread1.word2)
print(thread2.word2)

目前这需要大约6秒钟，我需要它更快我一直在研究多处理，找不到与上面代码相同的东西。我认为我所追求的是汇集，但我发现的例子很难理解。我想利用所有内核（8个内核）multiprocessing.cpu_count()，但我真的只是有关多处理的有用信息，而不足以复制上面的代码。如果有人能指出我正确的方向或更好的方向，请提供一个非常感谢的例子。 Python 3请

Answer 1

只需将threading替换为multiprocessing，将Thread替换为Process。 Pyton中的线程（几乎）从未用于获得性能，因为GIL很糟糕！我在另一个SO-post中解释了它，其中包含一些文档链接和great talk about threading in python.

但是multiprocessing模块有意与线程模块非常相似。您几乎可以将其用作替代品！

多处理模块没有AFAIK提供强制使用特定数量核心的功能。它依赖于操作系统的实现。您可以使用Pool对象并将worker-onjects限制为core-count。或者你可以寻找像pypar这样的其他MPI库。在Linux下，您可以使用shell下的管道在不同的核心上启动多个实例

Python，多线程太慢，多进程

1 个答案: