Question

我有一个包含多个列的数据框（大约300个，这里我只发布了五个），其名称相似，看起来像这样：

   wave          rv           rv           rv           rv          rv                                                                      
4050.32  516.046391  1177.388115   291.478871   667.855218  139.966111   
4512.99  523.027066  1121.650093   304.243851   366.686912   21.157569   
4523.40  653.480487  1258.712111   565.797456   685.889408  211.022502   
4551.65  543.679071  1170.182836   615.175059   538.739229  217.254275   
4554.46  613.018264  1218.368040   512.241826   580.040475  148.860819   
4555.49  660.986074  1310.192328   727.650639   652.957370  241.255968

现在，如果我尝试计算每行的MAD或MEDIAN，那么它将受到异常值的影响。

df['mean_rv']=df.rv.mean(axis=1)
df['mad_rv']=df.rv.mad(axis=1)
df['std_rv']=df.rv.std(axis=1)
df['median_rv']=df.rv.median(axis=1)


wave        mean_rv      mad_rv      std_rv   median_rv                                                                    
4050.32  205.140781  515.455058  675.407100  402.282291   
4512.99  185.022378  527.156411  694.815800  388.641627   
4523.40  305.709437  508.197990  656.888951  565.797456   
4551.65  245.231088  510.966951  663.052403  479.494050   
4554.46  249.040192  546.425471  707.440193  496.937762   
4555.49  354.556840  510.052320  658.062092  586.095377

那如果我想从数据框中删除异常值怎么办？

Answer 1

您可以使用内部四分位数范围（IQR）进行简单的异常值检测。来自维基百科

四分位数间距（IQR），也称为中间价差或中间价差50％，或从技术上讲是H价差，是统计分散度的一种度量，等于第75个百分点与第25个百分点之间或上，下四分位数之间的差， IQR = Q3-Q1。换句话说，IQR是从第三四分位数中减去的第一四分位数；这些四分位数可以在数据的箱形图中清楚地看到。它是对散度的一种度量，类似于标准偏差或方差，但对异常值的鲁棒性更高。

Q1 = data.quantile(0.25)
Q3 = data.quantile(0.75)
IQR = Q3 - Q1
print(IQR)
if(data[i] < (Q1 - 1.5 * IQR)) |(data[i] > (Q3 + 1.5 * IQR))
    #outlier detected 
    #do stuff ...

如果数据点位于异常值边界之外，则数据点可能是异常值。因此，在根据逻辑的情况下，您需要为每列或所有列一起计算离群值，这取决于您拥有的数据及其关联方式。希望能帮助到你。

顺便说一句，您可以简单地使用matplotlib boxplot可视化上述方法。只要将您要进行离群值检测的一系列数据传递给它，它将直接为您进行绘制。还有其他方法，例如scikit Learn outlier detection 此blog也很有用。

Answer 2

就像您通常排除的任何地方一样-通常以STD的形式定义阈值，然后应用过滤器：

mean = df.rv.mean(axis=1)
std  = df.rv.std(axis=1)
new_mean = df.rv[abs(df.rv.subtract(mean,axis=0)).lt(std,axis=0)].mean(axis=1)

在lt中，您可以定义std，2*std等，这取决于异常值。注意

df.rv[abs(df.rv.subtract(mean,axis=0)).lt(std,axis=0)]

在离群值所在的位置将包含nan个值，并且mean和类似方法默认情况下会忽略它们。

如何从具有相似名称的多列的数据帧的行中删除异常值？

2 个答案: