多线程:为什么生成器不是线程安全的?在线程之间共享会发生什么?

时间:2013-11-18 08:47:12

标签: python multithreading generator

我正在阅读this question,询问生成器是否是线程安全的,并且有一个答案说:

  

它不是线程安全的;同时呼叫可能会交错,并且混乱   局部变量。

Another answer表明您可以使用锁来确保一次只有一个线程使用该生成器。

我是多线程的新手。任何人都可以设计一个例子来说明当你使用没有锁定的发电机时究竟发生了什么吗?

例如,如果我这样做,似乎没有任何问题:

import threading

def generator():
    for i in data:
        yield i

class CountThread(threading.Thread):
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name

    def run(self):
        for i in gen():
            print '{0} {1}'.format(self.name, i)

data = [i for i in xrange(100)]
gen = generator()
a = CountThread('a')
b = CountThread('b')
a.start()
b.start()

1 个答案:

答案 0 :(得分:4)

运行此示例。

你会看到10 000个号码将在线程之间“共享”。你不会在两个线程中看到10 000个数字。

实际上,很可能一个线程会看到所有数字。

import threading

class CountThread(threading.Thread):
  def __init__(self, gen):
      threading.Thread.__init__(self)
      self.gen = gen
      self.numbers_seen = 0

  def run(self):
      for i in self.gen:
          self.numbers_seen += 1


def generator(data):
    for _ in data:
        yield data

gen = generator(xrange(10000))

a = CountThread(gen)
b = CountThread(gen)

a.start()
b.start()

a.join()
b.join()

print "Numbers seen in a", a.numbers_seen
print "Numbers seen in b", b.numbers_seen

实际上,如果Python在执行过程中切换线程(只使用10000以上的值,例如10000000),你就会得到一个例外:

Exception in thread Thread-2:
Traceback (most recent call last):
  File "/usr/local/Cellar/python/2.7.5/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 808, in __bootstrap_inner
    self.run()
  File "test.py", line 10, in run
    for i in self.gen:
ValueError: generator already executing