重塑数据导致内存错误,Python 2.7。代码错了?

时间:2017-06-29 22:11:44

标签: python-2.7 pandas numpy keras reshape

就像标题所说,我试图在Python2.7中重塑90k观测值以进行神经网络输入。

df是一个90k行的数据帧。专栏' Embedded'拥有1000个100个浮点数的阵列,每行 。我需要重新整理此列以进行神经网络输入。

我可以批量生成10k行,但即使在AWS实例上,90k行也会失败,是否有更有效的方法?

z = df['Embedded']
z.shape 
(90000,) 

z = [np.array(a).reshape(1000,100) for a in z]
 ^^^^^ this is where failure occurs. I get "Memory Error"

请注意,此代码一次最多可用于10,000行df [' Embedded']。我不能马上完成整个事情

0 个答案:

没有答案