以流方式构建熊猫数据框

时间:2019-02-27 17:43:47

标签: python pandas

我有大量的二进制数据,可以读取一个或多个“行”的块。我将这些二进制行转换为Pandas可以理解的行。我可以读取所有二进制行,将其转换并存储在列表中,然后将其传递给pd.Dataframe创建一个巨大的数据帧。问题在于,这会将我的数据两次存储在内存中,我真的很想尽量减少所需的最大内存。是否有一种有效的方法来实现这一目标?我可以想象有一种方法可以为Pandas数据帧分配内存并填满它?

0 个答案:

没有答案
相关问题