Csv到Pandas Dataframe内存错误

时间:2017-02-16 08:39:37

标签: python csv pandas memory dataframe

我正在尝试将4Gb Csv转换为数据帧。我收到了内存错误。 我检查了chunksize解决方案但仍有问题。 我也听说它可能与python版本有关但我运行的是anaconda python 3.6 64位(至少它应该是它应该是什么)

这是我的功能代码:

import panda as pd    
def dataFrameCreationCsv(path):
        print('Loading Csv file...')
        if file.isfile(path):
            #  dataFrameCsv=pd.read_csv(path,encoding='latin1',delimiter='|')  MEMORY ISSUES ON LARGE SCALE DATASET
            tp = pd.read_csv(path, encoding='latin1', delimiter='|', iterator=True, chunksize=1000)  # gives TextFileReader, which is iterable with chunks of 1000 rows.
            dfCsv = pd.concat(tp, ignore_index=True)
            return dfCsv
        else:
            print('wrong path used')

0 个答案:

没有答案