Python,内存在制作数据帧时出错

时间:2015-07-06 08:50:20

标签: python memory pandas

当我使用pandas DataFrame时,出现内存错误

数据行为200000,列为30.(类型:列表) fieldnames1具有列名。(类型:列表)

发生错误:

df = pd.DataFrame(data,columns=[fieldnames1])

我该怎么办? (python版本2.7 32位)

2 个答案:

答案 0 :(得分:3)

正如克劳斯所说,你的内存已经不足了。当您尝试一次性将整个文本拉到内存时会出现问题。

正如Wes McKinney所指出的in this post,“解决方案是以较小的部分读取文件(使用iterator=True, chunksize=1000)然后使用pd.concat连接”。

答案 1 :(得分:-1)

你可以试试这行代码:

data=pd.DataFrame.from_csv("train.csv")

这是read.csv的替代,但它返回Data框架对象而不会给出任何内存错误 P.S训练数据的大小约为73 mb