如何在Python中使用线程实现真正的并行性?

时间:2017-07-08 06:39:01

标签: python parallel-processing python-multiprocessing python-multithreading

我正在学习Python中的线程库。我不明白,如何并行运行两个线程?

以下是我的python程序:

无线程编程( fibsimple.py

def fib(n):
    if n < 2:
        return n
    else: 
        return fib(n-1) + fib(n-2)

fib(35)
fib(35)

print "Done"

运行时间:

$ time python fibsimple.py 
Done

real    0m7.935s
user    0m7.922s
sys 0m0.008s

与线程相同的程序( fibthread.py

from threading import Thread
def fib(n):
    if n < 2:
        return n
    else: 
        return fib(n-1) + fib(n-2)

t1 = Thread(target = fib, args = (35, ))
t1.start()

t2 = Thread(target = fib, args = (35, ))
t2.start()

t1.join()
t2.join()

print "Done"

运行时间:

$ time python fibthread.py 
Done

real    0m12.313s
user    0m10.894s
sys 0m5.043s

我不明白为什么线程程序需要更多时间?如果线程并行运行,它应该几乎是一半。

但如果我用多处理库实现相同的程序,时间将变为一半。

使用多进程编程( fibmultiprocess.py

from multiprocessing import Process

def fib(n):
    if n < 2:
        return n
    else: 
        return fib(n-1) + fib(n-2)

p1 = Process(target = fib, args = (35, ))
p1.start()

p2 = Process(target = fib, args = (35, ))
p2.start()

p1.join()
p2.join()

print "Done"

运行时间

 $ time python fibmultiporcess.py 
 Done

 real   0m4.303s
 user   0m8.065s
 sys    0m0.007s

有人可以解释,如何并行运行线程?多处理和线程并行是如何不同的?任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:2)

要解释多线程的奇怪运行时间,您必须知道 GIL

GIL代表 Global Interpreter Lock ,它打算序列化对来自不同线程的解释器内部的访问。也就是说,解析器一次只运行 ONE 线程。在多核系统上,这意味着多个线程无法有效地利用多个核心。

但是为什么运行时间长于没有多线程的运行时间?

这是因为在线程之间切换时会消耗额外的时间。

当然,由于使用多处理创建了多个解释器,因此它不受GIL的影响。这就是速度可以按预期加倍的原因。

参考

python link

中多线程和多进程之间的良好比较

要了解有关GIL和其他一些实验的更多信息,请结帐Understanding the Python GIL - David Beazley。这是你可以得到的最佳解释。