需要将一个Pandas(Python)数据帧与另一个数据帧的值进行比较

时间:2016-12-09 15:54:06

标签: python pandas statistics analysis

所以我从sql server中提取数据,并输入到数据帧中。所有数据都是离散形式,并且在一个方向上以0.1步增加(0.0,0.1,0.2 ... 9.8,9.9,10.0),每个步骤具有多个功率值(例如,1000,1412,134.5,657.1 at 0.1),(14.5,948.1,343.8,5.5) - 希望你能看到我想说的话。

我已设法使用以下内容将数据分组到这些单独的步骤中,然后获取每个组的均值和标准差。

group = df.groupby('step').power.mean() group2 = df.groupby('step').power.std().fillna(0)

这导致两个数据帧(组和组2),其具有0.1个步骤中的每一个的平均值和标准偏差。然后,使用以下内容轻松为每个步骤创建上限和下限:

upperlimit = group + 3*group2 lowerlimit = group - 3*group2 lowerlimit[lowerlimit<0] = 0

现在我有点困惑!我需要回到原始数据帧并删除功率值超出这些计算限制的行/实例(注意每个0.1步骤有不同的上限和下限)。

以下是50行样本数据:

Index    Power              Step
0        106.0              5.0
1        200.4              5.5
2        201.4              5.6
3        226.9              5.6
4        206.8              5.6
5        177.5              5.3
6        124.0              4.9
7        121.0              4.8
8         93.9              4.7
9        135.6              5.0
10       211.1              5.6
11       265.2              6.0
12       281.4              6.2
13       417.9              6.9
14       546.0              7.4
15       619.9              7.9
16       404.4              7.1
17       241.4              5.8
18        44.3              3.9
19        72.1              4.6
20        21.1              3.3
21         6.3              2.3
22         0.0              0.8
23         0.0              0.9
24         0.0              3.2
25         0.0              4.6
26        33.3              4.2
27        97.7              4.7
28        91.0              4.7
29       105.6              4.8
30        97.4              4.6
31       126.7              5.0
32       134.3              5.0
33       133.4              5.1
34       301.8              6.3
35       298.5              6.3
36       312.1              6.5
37       505.3              7.5
38       491.8              7.3
39       404.6              6.8
40       324.3              6.6
41       347.2              6.7
42       365.3              6.8
43       279.7              6.3
44       351.4              6.8
45       350.1              6.7
46       573.5              7.9
47       490.1              7.5
48       520.4              7.6
49       548.2              7.9

1 个答案:

答案 0 :(得分:1)

为了让您以另一种方式实现目标,您希望对分组数据执行一些操作,然后将这些操作的结果投影回未分组的行,以便您可以使用它们来过滤这些行。一种方法是使用transform

  

transform方法返回一个对象,该对象的索引与被分组的对象相同(大小相同)。因此,传递的转换函数应该返回与组块大小相同的结果。

然后,您可以直接创建新行:

df['upper'] = df.groupby('step').power.transform(lambda p: p.mean() + 3*p.std().fillna(0))
df['lower'] = df.groupby('step').power.transform(lambda p: p.mean() - 3*p.std().fillna(0))
df.loc[df['lower'] < 0, 'lower'] = 0

并相应地排序:

df = df[(df.power <= df.upper) & (df.power >= df.lower())]