如何将大型数据集从csv读取到dataframe中?

时间:2019-07-25 08:40:35

标签: python pandas csv

  

遇到错误:ParserError:错误标记数据。 C错误:内存不足

尝试使用较小的csv文件,但可以使用,但不适用于较大的文件

import pandas as pd
LARGE_FILE =r'E:\Users\celine_chua\Downloads\flights.csv'


mylist2 = []
for chunk in  pd.read_csv(LARGE_FILE, sep=',', chunksize=1000):
    mylist2.append(chunk)

flights_df = pd.concat(mylist2, axis= 0)
del mylist2

0 个答案:

没有答案