就像标题所说,我试图在Python2.7中重塑90k观测值以进行神经网络输入。
df是一个90k行的数据帧。专栏' Embedded'拥有1000个100个浮点数的阵列,每行 。我需要重新整理此列以进行神经网络输入。
我可以批量生成10k行,但即使在AWS实例上,90k行也会失败,是否有更有效的方法?
z = df['Embedded']
z.shape
(90000,)
z = [np.array(a).reshape(1000,100) for a in z]
^^^^^ this is where failure occurs. I get "Memory Error"
请注意,此代码一次最多可用于10,000行df [' Embedded']。我不能马上完成整个事情