pandas - 只读到一定限度的文件

Question

我有一个文件（以GB为单位）并且只想读出（比方说）500MB的文件。有没有办法可以做到这一点？

PS：我想过阅读数据集的前几行。查看它使用了多少内存，然后相应地获得行数。我正在寻找一种可以避免这种方法的方法。

Answer 1

你可以在这里使用generator来以高效的方式从文件中读取行，你可以参考这个Lazy Method for Reading Big File in Python?

或 您可以使用f.read（行数）从行读取，假设您想要读取文件中的前100行

fname='your file name'
with open(fname) as f:
    lines=100
    content = f.read(lines)
    print content

或

使用pandas nrows（行数）

import pandas as pd
myfile = pd.read('your file name',nrows=1000)