我注意到经常建议使用具有多个线程的队列,而不是列表和.pop()
。这是因为列表不是线程安全的,还是出于其他原因?
答案 0 :(得分:150)
列表本身是线程安全的。在CPython中,GIL可以防止对它们进行并发访问,而其他实现则会为其列表实现使用细粒度锁或同步数据类型。但是,虽然列表本身不会因尝试同时访问而损坏,但列表的数据不受保护。例如:
L[0] += 1
如果另一个线程执行相同的操作,则不保证实际上将L [0]增加一,因为+=
不是原子操作。 (非常,很少有Python中的操作实际上是原子的,因为它们中的大多数都可以导致调用任意Python代码。)您应该使用队列,因为如果您只使用不受保护的列表,您可能会获取或删除错误的项目因为竞争条件。
答案 1 :(得分:74)
为了澄清Thomas的优秀答案中的一点,应该提到append()
线程安全。
这是因为一旦我们去写,就不会担心 read 的数据会在同一个地方。 append()
操作不读取数据,只将数据写入列表。
答案 2 :(得分:33)
list
obj in a_list
次Here's a comprehensive yet non-exhaustive list of examples次操作以及它们是否是线程安全的。
希望得到关于{{1}}语言构造here的答案。
答案 3 :(得分:0)
我最近遇到这种情况,我需要在一个线程中连续追加到列表,循环遍历所有项目,并检查该项目是否已准备就绪,在我的情况下,它是AsyncResult,并且仅在已将其从列表中删除时准备。 我找不到任何可以清楚说明我的问题的例子 这是一个示例,该示例演示在一个线程中连续添加到列表,并在另一个线程中连续从同一列表中删除 有缺陷的版本可以在较小的数字上轻松运行,但将数字保持足够大并运行几次,您将看到错误
FLAWED版本
import threading
import time
# Change this number as you please, bigger numbers will get the error quickly
count = 1000
l = []
def add():
for i in range(count):
l.append(i)
time.sleep(0.0001)
def remove():
for i in range(count):
l.remove(i)
time.sleep(0.0001)
t1 = threading.Thread(target=add)
t2 = threading.Thread(target=remove)
t1.start()
t2.start()
t1.join()
t2.join()
print(l)
错误时输出
Exception in thread Thread-63:
Traceback (most recent call last):
File "/Users/zup/.pyenv/versions/3.6.8/lib/python3.6/threading.py", line 916, in _bootstrap_inner
self.run()
File "/Users/zup/.pyenv/versions/3.6.8/lib/python3.6/threading.py", line 864, in run
self._target(*self._args, **self._kwargs)
File "<ipython-input-30-ecfbac1c776f>", line 13, in remove
l.remove(i)
ValueError: list.remove(x): x not in list
使用锁的版本
import threading
import time
count = 1000
l = []
r = threading.RLock()
def add():
r.acquire()
for i in range(count):
l.append(i)
time.sleep(0.0001)
r.release()
def remove():
r.acquire()
for i in range(count):
l.remove(i)
time.sleep(0.0001)
r.release()
t1 = threading.Thread(target=add)
t2 = threading.Thread(target=remove)
t1.start()
t2.start()
t1.join()
t2.join()
print(l)
输出
[] # Empty list
结论
如前面的回答中所述,虽然从列表本身添加或弹出元素的行为是线程安全的,但当您在一个线程中追加并在另一个线程中弹出时,不是线程安全的