我有一个庞大的熊猫数据框,形状如下:
new_id hour names values
0 0 mark 5
0 0 matt 4
0 0 alex 3
1 0 roger 2
1 0 arthur 7
1 1 alf 8
2 1 ale 6
3 1 peter 5
3 2 tom 2
4 2 andrew 7
我需要重塑它,所以我使用pivot_table()
:
dummy=dummy.pivot_table(index=['hour','new_id'],columns='name', values='values').fillna(0)
所以它变成了
names ale alex alf andrew arthur mark matt peter roger tom
hour new_id
0 0 0.0 3.0 0.0 0.0 0.0 5.0 4.0 0.0 0.0 0.0
1 0.0 0.0 0.0 0.0 7.0 0.0 0.0 0.0 2.0 0.0
1 1 0.0 0.0 8.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
2 6.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0
3 0.0 0.0 0.0 0.0 0.0 0.0 0.0 5.0 0.0 0.0
2 3 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 2.0
4 0.0 0.0 0.0 7.0 0.0 0.0 0.0 0.0 0.0 0.0
....
顺便说一句,这个小例子无法重现我的问题:在真实数据集中,当我转动它时,我得到一些不应该存在的浮点值,因为它们是聚合和{的总和初始数据集的{1}},它们都是整数。它们不仅是浮动的,而且与确切的结果相差甚远。
为什么我会得到这些浮动值?有没有更好的方法来获得我想要的东西?我真的不想自己编写一个函数来在旋转数据帧之前正确地对所有值求和,因为这应该是values
所做的。
答案 0 :(得分:3)
有问题NaN
s,它会将所有值转换为float
,因此如果输入数据为fill_value=0
s,则可能的解决方案是添加参数integer
:
dummy=dummy.pivot_table(index=['hour','new_id'],columns='name', values='values', fill_value=0)
print (dummy)
name ale alex alf andrew arthur mark matt peter roger tom
hour new_id
0 0 0 3 0 0 0 5 4 0 0 0
1 0 0 0 0 7 0 0 0 2 0
1 1 0 0 8 0 0 0 0 0 0 0
2 6 0 0 0 0 0 0 0 0 0
3 0 0 0 0 0 0 0 5 0 0
2 3 0 0 0 0 0 0 0 0 0 2
4 0 0 0 7 0 0 0 0 0 0
pivot_table
中的默认聚合函数为mean
,因此预计输出中至少有一个浮点值,因此它会将所有值转换为float
s。
因此,如果将聚合函数更改为sum
,那么所有工作都很好:
dummy = dummy.pivot_table(index=['hour','new_id'],
columns='name',
values='values',
fill_value=0,
aggfunc='sum')