Question

我有一个快速傅立叶变换信号的DataFrame。

频率有一列，单位为Hz，另一列为相应幅度。

我读过几年前的帖子，你可以使用一个简单的布尔函数来排除或仅包括最终数据框中高于或低于几个标准偏差的异常值。

df = pd.DataFrame({'Data':np.random.normal(size=200)})  # example dataset of normally distributed data. 
df[~(np.abs(df.Data-df.Data.mean())>(3*df.Data.std()))] # or if you prefer the other way around

问题在于，当频率增加到50 000Hz时，我的信号会下降几个幅度（最多小10 000倍）。因此，我无法使用仅导出高于3标准差的值的函数，因为我只会选择＆＃34;峰值＆＃34;来自前50赫兹的异常值。

有没有办法可以在我的数据框中导出高于滚动平均值3滚动标准偏差的异常值？

Answer 1

这可能是一个快速举例说明。基本上，您将现有数据与滚动平均值加上三个标准偏差的新列进行比较，同时也是滚动。

import pandas as pd
import numpy as np
np.random.seed(123)
df = pd.DataFrame({'Data':np.random.normal(size=200)})

# Create a few outliers (3 of them, at index locations 10, 55, 80)
df.iloc[[10, 55, 80]] = 40.    

r = df.rolling(window=20)  # Create a rolling object (no computation yet)
mps = r.mean() + 3. * r.std()  # Combine a mean and stdev on that object

print(df[df.Data > mps.Data])  # Boolean filter
#     Data
# 55  40.0
# 80  40.0

添加新列仅过滤到异常值，其他地方使用NaN：

df['Peaks'] = df['Data'].where(df.Data > mps.Data, np.nan)

print(df.iloc[50:60])
        Data  Peaks
50  -1.29409    NaN
51  -1.03879    NaN
52   1.74371    NaN
53  -0.79806    NaN
54   0.02968    NaN
55  40.00000   40.0
56   0.89071    NaN
57   1.75489    NaN
58   1.49564    NaN
59   1.06939    NaN

此处.where返回

与self形状相同且对应条目的对象来自self，其中cond为True，否则来自other。

使用滚动标准偏差检测Pandas数据帧中的异常值

1 个答案: