大文件加载策略

Question

例如，我有一个10GB的csv文件，我想在这个文件的中间获得1000行，或者我想得到这个文件的任何一行。有没有可以帮助我的开源库？我是否必须在OS上解决这个问题？

Answer 1

文件是迭代器，要从任何迭代器的中间取出项目而不存储其余部分，您可以使用islice：

from itertools import islice

with open('bigfile.txt') as bigfile:
    lines = islice(bigfile, start, end)