当左边合并两个数据帧时,pandas MemoryError

时间:2018-03-26 10:14:36

标签: python-3.x pandas dataframe merge

我需要合并两个dfaba有大约250万行,b大约有500行。从a直接读取bmongoDB,使用列表转换为df,代码为,

 unique_b = b[['id', 'name']]
 unique_b.drop_duplicates()

 a = pd.merge(a, unique_b[['id', 'name']], how='left', on='id')

现在merge不仅会导致MemoryError,而且需要很长时间(从不停止)来处理合并,以防有足够的内存。我想知道如何在内存使用和时间方面优化此pandas数据帧合并。

0 个答案:

没有答案