Question

我通过执行以下操作创建了一个空的DataFrame：

In [581]: df=pd.DataFrame(np.empty(8,dtype=([('f0', '<i8'), ('f1', '<f8'),('f2', '<i8'), ('f3', '<f8'),('f4', '<f8'),('f5', '<f8'), ('f6', '<f8'),('f7', '<f8')])))

In [582]: df
Out[582]: 
           f0             f1          f2             f3             f4  \
0  3714580581  2.448187e-316  3928263553  2.447690e-316   0.000000e+00   
1           0   0.000000e+00           0   0.000000e+00   0.000000e+00   
2           0   0.000000e+00           0   0.000000e+00  3.284339e-315   
3           0   0.000000e+00           0   0.000000e+00   0.000000e+00   
4           0   0.000000e+00   298532785  4.341609e-315   0.000000e+00   
5           0   0.000000e+00  1178683509  2.448189e-316   0.000000e+00   
6           0   0.000000e+00           0   0.000000e+00  7.659812e-315   
7           0   0.000000e+00  4211786525  2.448192e-316   0.000000e+00   

              f5             f6             f7  
0   0.000000e+00   0.000000e+00   0.000000e+00  
1   0.000000e+00   0.000000e+00   0.000000e+00  
2  2.447692e-316  9.702437e-315  2.448246e-316  
3   0.000000e+00   0.000000e+00   0.000000e+00  
4   0.000000e+00   0.000000e+00   0.000000e+00  
5   0.000000e+00   0.000000e+00   0.000000e+00  
6  4.341599e-315   0.000000e+00   0.000000e+00  
7   0.000000e+00   0.000000e+00   0.000000e+00

现在我尝试使用numpy structured array更改前4行的数据：

In [583]: x=np.ones(4,dtype=([('f0', '<i8'), ('f1', '<f8'),('f2', '<i8'), ('f3', '<f8'),('f4', '<f8'),('f5', '<f8'), ('f6', '<f8'),('f7', '<f8')]))

In [584]: x
Out[584]: 
array([(1L, 1.0, 1L, 1.0, 1.0, 1.0, 1.0, 1.0),
       (1L, 1.0, 1L, 1.0, 1.0, 1.0, 1.0, 1.0),
       (1L, 1.0, 1L, 1.0, 1.0, 1.0, 1.0, 1.0),
       (1L, 1.0, 1L, 1.0, 1.0, 1.0, 1.0, 1.0)], 
      dtype=[('f0', '<i8'), ('f1', '<f8'), ('f2', '<i8'), ('f3', '<f8'), ('f4', '<f8'), ('f5', '<f8'), ('f6', '<f8'), ('f7', '<f8')])

In [585]: df[0:4]=x

ValueError: Must have equal len keys and value when setting with an iterable

有没有不同的方法来实现这一目标？

如果我在DataFrame填充了structured array的视图，那么这部分会有效：

In [587]: df[0:4]=x.view(np.float64).reshape(x.shape + (-1,))

In [588]: df
Out[588]: 
   f0   f1          f2             f3             f4             f5   f6   f7
0   0  1.0           0   1.000000e+00   1.000000e+00   1.000000e+00  1.0  1.0
1   0  1.0           0   1.000000e+00   1.000000e+00   1.000000e+00  1.0  1.0
2   0  1.0           0   1.000000e+00   1.000000e+00   1.000000e+00  1.0  1.0
3   0  1.0           0   1.000000e+00   1.000000e+00   1.000000e+00  1.0  1.0
4   0  0.0   298532785  4.341609e-315   0.000000e+00   0.000000e+00  0.0  0.0
5   0  0.0  1178683509  2.448189e-316   0.000000e+00   0.000000e+00  0.0  0.0
6   0  0.0           0   0.000000e+00  7.659812e-315  4.341599e-315  0.0  0.0
7   0  0.0  4211786525  2.448192e-316   0.000000e+00   0.000000e+00  0.0  0.0

但正如您所见，f0和f2列现在为0，因为整数1被强制转换为浮点数。

Answer 1

显而易见的解决方案是给pandas一个pandas数据帧：

df[0:4] = pd.DataFrame(x)

这非常重要，但在你的例子中它可能并不明显。

我建议您使用.iloc方法，因为它更明确。

df.iloc[0:4] = pd.DataFrame(x)

当然，性能下降来自于实现一个新对象，即pandas DataFrame，所以这具有相同的性能缺陷。

使用numpy结构化数组填充空DataFrame

1 个答案: