如何跳过行并读取前n个字符以更有效地处理大文件?

时间:2017-02-12 19:45:15

标签: python

我有一个庞大的文件,数亿行。

每行有数千个字符。

对于每四行,我想在第1行读取,并执行条件测试。

然后根据这个测试,我将决定是否读入以下第2行。 (我可以在不做任何事情的情况下阅读它们,但它会因浪费资源而使过程变得太慢。)

如果line1条件为True,我想在第2行读取,但只读前n个字符,也是为了节省时间,因为这条线很长。

然后我肯定会跳过第3和第4行。

有没有人对如何实现这个有任何建议?

基本上,我想更快地处理这个大文件。 现在,通过执行以下操作非常缓慢:

while(1):
     line = file.readline()
     if not line:
       break
     else:
       if line == something:
         lst.append(file.readline()[:10])
         file.readline()
         file.readline()

0 个答案:

没有答案