Killed 9：在列表中附加Pandas数据帧时出错

Question

我正在尝试浏览一个充满pickle（.pkl）文件的文件夹，并将pickle文件中的所有数据帧合并到一个HDF5文件中。

但是，当我尝试使用100个数据框追加 dfs [] 时，我在for循环中途出现“Killed：9”错误。有谁知道更好的方法去做这个？我希望能够将所有数据放在一个框架中，但是由于存在大量数据，因此看起来很困难。总共计算10亿行。

dfs = []
count = 0
path = '/Users/srayan/Desktop/Pickle'
for filename in glob.glob(os.path.join(path, '*.pkl')):
    dfs.append(pd.read_pickle(filename))

df = pd.concat(dfs)
key = 'my_key'
df.to_hdf('merged.h5', key)