当我使用pandas DataFrame时,出现内存错误。
数据行为200000,列为30.(类型:列表) fieldnames1具有列名。(类型:列表)
发生错误:
df = pd.DataFrame(data,columns=[fieldnames1])
我该怎么办? (python版本2.7 32位)
答案 0 :(得分:3)
正如克劳斯所说,你的内存已经不足了。当您尝试一次性将整个文本拉到内存时会出现问题。
正如Wes McKinney所指出的in this post,“解决方案是以较小的部分读取文件(使用iterator=True, chunksize=1000
)然后使用pd.concat连接”。
答案 1 :(得分:-1)
你可以试试这行代码:
data=pd.DataFrame.from_csv("train.csv")
这是read.csv的替代,但它返回Data框架对象而不会给出任何内存错误 P.S训练数据的大小约为73 mb