python pandas使用read_csv读取20GB文本文件

Question

chunksize = 10 **2
data = pd.read_csv('C:\\Users\\log.txt', sep=" ", header = None,chunksize =chunksize )

这是我尝试使用20GB txt文件时，我使用chunksize将其一次只分成100行，并希望将前100行分配到称为数据的变量中。问题是每当我这样做时，ipython控制台立即死亡。知道怎么解决吗？

PS：我想将整个文件分块，以便我可以一次处理一个并将它们上传到我的数据库中

Answer 1

好的，所以我通过使用它来解决这个问题：

import csv
reader = csv.reader(codecs.open('C:\\log.txt', 'rU', 'utf-16'))  
for each in reader:
    # process each line

python中的csv包结果非常有用