在搜索this problem的简洁解决方案时,我想知道迭代Python文件对象是否是线程安全的。
from concurrent.futures import ThreadPoolExecutor
import sys, time
f = open("big_file")
def worker():
running = True
while running:
try:
line = next(f)
except StopIteration:
return
# process line
time.sleep(3)
sys.stdout.write(line + "\n")
no_workers = 4
with ThreadPoolExecutor(max_workers=no_workers) as e:
for _ in range(no_workers):
e.submit(worker)
f.close()
我的问题是,如果上面的示例是安全的,或者如果没有,那么获取线程安全文件对象的简单方法是什么(逐行读取文件,不需要写入)。
答案 0 :(得分:2)
不,文件I / O不是线程安全的。锁定是一种解决方案,但我认为让单个线程处理每个外部资源的选项效果更好。其他线程将工作请求发送到Queue.Queue
实例上的专用线程(并在需要返回结果的情况下提供自己的另一个队列),专用线程将大部分时间等待在{{1在该队列上,每当它获得一个请求时,它就会处理它,可能会返回结果。