迭代Python文件对象线程是否安全?

时间:2013-09-13 08:09:35

标签: python multithreading

在搜索this problem的简洁解决方案时,我想知道迭代Python文件对象是否是线程安全的。

from concurrent.futures import ThreadPoolExecutor
import sys, time

f = open("big_file")

def worker():
    running = True
    while running:
        try:
            line = next(f)
        except StopIteration:
            return
        # process line
        time.sleep(3)
        sys.stdout.write(line + "\n")

no_workers = 4
with ThreadPoolExecutor(max_workers=no_workers) as e:
    for _ in range(no_workers):
        e.submit(worker)

f.close()

我的问题是,如果上面的示例是安全的,或者如果没有,那么获取线程安全文件对象的简单方法是什么(逐行读取文件,不需要写入)。

1 个答案:

答案 0 :(得分:2)

不,文件I / O不是线程安全的。锁定是一种解决方案,但我认为让单个线程处理每个外部资源的选项效果更好。其他线程将工作请求发送到Queue.Queue实例上的专用线程(并在需要返回结果的情况下提供自己的另一个队列),专用线程将大部分时间等待在{{1在该队列上,每当它获得一个请求时,它就会处理它,可能会返回结果。