Question

我正在学习Python Pandas的不同方面，当我在binned数据上使用它时，我偶然发现了groupby-objects的中值函数的一些奇怪行为。

示例代码：

import pandas as pd

d = pd.DataFrame([1,2,5,6,9,3,6,5,9,7,11,36,4,7,8,25,8,24,23])

b = [0,5,10,15,20,25,30,35,40,45,50,55]

print d.groupby(pd.cut(d[0],b)).count()

print d.groupby(pd.cut(d[0],b)).mean()

print d.groupby(pd.cut(d[0],b)).median()

计数输出：

(0, 5]    6
(5, 10]   8
(10, 15]  1
(15, 20]  0
(20, 25]  3
(25, 30]  0
(30, 35]  0
(35, 40]  1
(40, 45]  0
(45, 50]  0
(50, 55]  0

平均值输出：

(0, 5]     3.333333
(5, 10]    7.500000
(10, 15]  11.000000
(15, 20]        NaN
(20, 25]  24.000000
(25, 30]        NaN
(30, 35]        NaN
(35, 40]  36.000000
(40, 45]        NaN
(45, 50]        NaN
(50, 55]        NaN

中位数输出：

(0, 5]     3.5
(5, 10]    7.5
(10, 15]  11.0
(15, 20]  18.0
(20, 25]  24.0
(25, 30]  30.5
(30, 35]  30.5
(35, 40]  36.0
(40, 45]  18.0
(45, 50]  18.0
(50, 55]  18.0

所有空箱都装满了数字18和30.5，这在这里没有任何意义。

当我在原始列表中更改了一个数字时，最后三个数字也随机变化，然后输出如下：

(0, 5]     3.500000e+00
(5, 10]    7.500000e+00
(10, 15]   1.100000e+01
(15, 20]   1.800000e+01
(20, 25]   2.450000e+01
(25, 30]   3.050000e+01
(30, 35]   3.050000e+01
(35, 40]   3.600000e+01
(40, 45]  3.814316e+228
(45, 50]  3.814316e+228
(50, 55]  3.814316e+228

更改列表中的另一个数字会给我输出最后的数字18。

这只是一个错误吗？

这种行为是否有正当理由？

我在这里做错或解释错误吗？

现在我需要使用均值函数的NaN输出来过滤掉空的中位数，但我认为中位数应该将空值与平均值相同。

Answer 1

我很确定这是一个错误：

考虑：

gb = d.groupby(pd.cut(d[0],b))

gb.median()

但：

gb.get_group('(0, 5]').median()

0    3.5
dtype: float64

和

gb.get_group('(15, 20]').median()

KeyError                                  Traceback (most recent call last)
<ipython-input-314-e1f4657d9a2d> in <module>()
----> 1 gb.get_group('(15, 20]').median()

/Users/me/anaconda/lib/python2.7/site-packages/pandas/core/groupby.pyc in get_group(self, name, obj)
    585         inds = self._get_index(name)
    586         if not len(inds):
--> 587             raise KeyError(name)
    588 
    589         return obj.take(inds, axis=self.axis, convert=False)

KeyError: '(15, 20]'

当该组甚至不存在时，它会在median对象上计算groupby。

Answer 2

我将此问题报告为错误，并将其添加到0.19.0里程碑：

https://github.com/pydata/pandas/issues/13629

Pandas groupby-median函数用随机数填充空箱

2 个答案: