列表是否是线程安全的?

时间:2011-06-11 23:46:12

标签: python multithreading list python-3.x python-multithreading

我注意到经常建议使用具有多个线程的队列,而不是列表和.pop()。这是因为列表不是线程安全的,还是出于其他原因?

4 个答案:

答案 0 :(得分:150)

列表本身是线程安全的。在CPython中,GIL可以防止对它们进行并发访问,而其他实现则会为其列表实现使用细粒度锁或同步数据类型。但是,虽然列表本身不会因尝试同时访问而损坏,但列表的数据不受保护。例如:

L[0] += 1
如果另一个线程执行相同的操作,则不保证

实际上将L [0]增加一,因为+=不是原子操作。 (非常,很少有Python中的操作实际上是原子的,因为它们中的大多数都可以导致调用任意Python代码。)您应该使用队列,因为如果您只使用不受保护的列表,您可能会获取或删除错误的项目因为竞争条件。

答案 1 :(得分:74)

为了澄清Thomas的优秀答案中的一点,应该提到append() 线程安全。

这是因为一旦我们去,就不会担心 read 的数据会在同一个地方。 append()操作不读取数据,只将数据写入列表。

答案 2 :(得分:33)

list obj in a_listHere's a comprehensive yet non-exhaustive list of examples次操作以及它们是否是线程安全的。 希望得到关于{{1}}语言构造here的答案。

答案 3 :(得分:0)

我最近遇到这种情况,我需要在一个线程中连续追加到列表,循环遍历所有项目,并检查该项目是否已准备就绪,在我的情况下,它是AsyncResult,并且仅在已将其从列表中删除时准备。  我找不到任何可以清楚说明我的问题的例子  这是一个示例,该示例演示在一个线程中连续添加到列表,并在另一个线程中连续从同一列表中删除  有缺陷的版本可以在较小的数字上轻松运行,但将数字保持足够大并运行几次,您将看到错误

FLAWED版本

import threading
import time

# Change this number as you please, bigger numbers will get the error quickly
count = 1000
l = []

def add():
    for i in range(count):
        l.append(i)
        time.sleep(0.0001)

def remove():
    for i in range(count):
        l.remove(i)
        time.sleep(0.0001)


t1 = threading.Thread(target=add)
t2 = threading.Thread(target=remove)
t1.start()
t2.start()
t1.join()
t2.join()

print(l)

错误时输出

Exception in thread Thread-63:
Traceback (most recent call last):
  File "/Users/zup/.pyenv/versions/3.6.8/lib/python3.6/threading.py", line 916, in _bootstrap_inner
    self.run()
  File "/Users/zup/.pyenv/versions/3.6.8/lib/python3.6/threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
  File "<ipython-input-30-ecfbac1c776f>", line 13, in remove
    l.remove(i)
ValueError: list.remove(x): x not in list

使用锁的版本

import threading
import time
count = 1000
l = []
r = threading.RLock()
def add():
    r.acquire()
    for i in range(count):
        l.append(i)
        time.sleep(0.0001)
    r.release()

def remove():
    r.acquire()
    for i in range(count):
        l.remove(i)
        time.sleep(0.0001)
    r.release()


t1 = threading.Thread(target=add)
t2 = threading.Thread(target=remove)
t1.start()
t2.start()
t1.join()
t2.join()

print(l)

输出

[] # Empty list

结论

如前面的回答中所述,虽然从列表本身添加或弹出元素的行为是线程安全的,但当您在一个线程中追加并在另一个线程中弹出时,不是线程安全的