我正在尝试将4Gb Csv转换为数据帧。我收到了内存错误。
我检查了chunksize
解决方案但仍有问题。
我也听说它可能与python版本有关但我运行的是anaconda python 3.6 64位(至少它应该是它应该是什么)
这是我的功能代码:
import panda as pd
def dataFrameCreationCsv(path):
print('Loading Csv file...')
if file.isfile(path):
# dataFrameCsv=pd.read_csv(path,encoding='latin1',delimiter='|') MEMORY ISSUES ON LARGE SCALE DATASET
tp = pd.read_csv(path, encoding='latin1', delimiter='|', iterator=True, chunksize=1000) # gives TextFileReader, which is iterable with chunks of 1000 rows.
dfCsv = pd.concat(tp, ignore_index=True)
return dfCsv
else:
print('wrong path used')