Question

我正在使用pandas read_fwf方法将fixedwidth文件转换为分隔符文件（'|'分隔符）。我的输入文件（“infile.txt”）大约是16GB和990万条记录，在创建数据帧时，它在创建outputfile之前占用了近3倍的内存（大约48GB）。有人可以帮助我在逻辑之下提出这个额外的内存来源吗（我知道'seq_id，fname和loaddatime将占用一些空间，它应该只有几GB）。

注意： 我在循环中一个接一个地处理多个文件（类似大小的文件）。所以我必须在下一个文件接管之前清除内存。

'' 'infile.txt' ''

1234567890AAAAAAAAAA
1234567890BBBBBBBBBB
1234567890CCCCCCCCCC

'' 'test_layout.csv' ''

FIELD_NAME,START_POS,END_POS
FIELD1,0,10
FIELD2,10,20

'' 'test.py了' ''

import datetime
import pandas as pd
import csv
from collections import OrderedDict
import gc
seq_id = 1
fname= 'infile.txt'
loadDatetime = '04/10/2018'
in_layout = open("test_layout.csv","rt")
reader = csv.DictReader(in_layout)
boundries, col_names = [[],[]]
for row in reader:
    boundries.append(tuple([int(str(row['START_POS']).strip()) , int(str(row['END_POS']).strip())]))
    col_names.append(str(row['FIELD_NAME']).strip())
dataf = pd.read_fwf(fname, quoting=3, colspecs = boundries, dtype = object, names = col_names)
len_df = len(dataf)
'''Used pair of key, value tuples and OrderedDict to preserve the order of the columns'''
mod_dataf = pd.DataFrame(OrderedDict((('seq_id',[seq_id]*len_df),('fname',[fname]*len_df))), dtype=object)
ldt_ser = pd.Series([loadDatetime]*len_df,name='loadDatetime', dtype=object)
dataf = pd.concat([mod_dataf, dataf],axis=1)
alldfs = [mod_dataf]
del alldfs
gc.collect()
mod_dataf = pd.DataFrame()
dataf = pd.concat([dataf,ldt_ser],axis=1)
dataf.to_csv("outfile.txt", sep='|', quoting=3, escapechar='\\' , index=False, header=False,encoding='utf-8')
''' Release Memory used by DataFrames '''
alldfs = [dataf]
del ldt_ser
del alldfs
gc.collect()
dataf = pd.DataFrame()

我使用垃圾收集器，del数据帧并初始化以清除使用的内存，但仍未从数据帧释放总内存。灵感来自https://stackoverflow.com/a/49144260/2799214

'' 'OUTPUT' ''

1|infile.txt|1234567890|AAAAAAAAAA|04/10/2018
1|infile.txt|1234567890|BBBBBBBBBB|04/10/2018
1|infile.txt|1234567890|CCCCCCCCCC|04/10/2018

Answer 1

我和您使用https://stackoverflow.com/a/49144260/2799214时遇到了同样的问题我通过在类内的不同方法中拆分代码来找到使用gc.collect（）的解决方案。例如：

Class A:
    def __init__(self):
        # your code

    def first_part_of_my_code(self):
        # your code
        # I want to clear my dataframe
        del my_dataframe
        gc.collect()
        my_dataframe = pd.DataFrame() # not sure whether this line really helps
        return my_new_light_dataframe

    def second_part_of_my_code(self):
        # my code
        # same principle

因此，当程序调用方法时，一旦程序离开方法，垃圾回收器就会清除内存。

如何清除pandas中的Dataframe内存？

1 个答案: