Question

在生成散点图之前，我很难尝试使用Python删除一些数据异常值。我有一个使用pandas导入的n乘43的数据帧。我已经弄清楚如何确定异常值的阈值并将其应用于数据帧，这样我现在有一些布尔值，对应于数据是否应该包含在散点图中。然而，我坚持如何使用此信息来排除适当的数据点。

到目前为止我的代码：

def identify_outliers(self,parameters_file):
    data=pandas.read_csv(parameters_file)        #import data
    header=data.keys()                           #get header
    quantiles = data.quantile([0.25,0.75],1)     #determine thresholds for all data 
    for i in range(len(header)):
        qnt_i = quantiles[header[i]].as_matrix() #get handle to quantiles 
                                                 #for specific column of data
        #identify data points that fall outside this range   
        boolean_data=data[header[i]].between(qnt_i[0],qnt_i[1])  
        for j in range(len(boolean_data)): #attempt to use boolean values to filter
                                           #data to only include 'True' (doesn't work)
            if boolean_data[j]:
                print data[header[i]]

以下是使用pandas.read_csv

导入的数据片段

(v1).Kcat   (v1).km     (v11).k1
1.22E-02    1.20E-02    1.72E-06
0.0122441   1.42E-02    1.61E-06
1.04E-02    1.01E-02    1.00E-06
0.0136581   0.0185623   5.01158
0.0113221   0.0221445   0.0785929
0.506949    0.01        1.35E-06
1.16567     0.0141031   168.078
0.01        0.0100055   1.25E-06
0.0351003   153.682     163.082
0.0129821   0.0164996   0.0560866

是否有人建议如何过滤“数据”以删除所有不在指定范围内的值。

Answer 1

这是一个较小的数据框，仅基于您的前5行。

df

         v1          v2          v3
0  0.012200    0.012000    0.000002
1  0.012244    0.014200    0.000002
2  0.010400    0.010100    0.000001
3  0.013658    0.018562    5.011580
4  0.011322    0.022145    0.078593

这里的面具只选择第25和第75百分位数之间的值。请注意，这种语法有些精确，所以请注意括号等。

 ( df > df.quantile(.25) ) & ( df < df.quantile(.75) )

      v1     v2     v3
0   True   True   True
1   True   True   True
2  False  False  False
3   True  False  False
4  False  False   True

这是基于列的，顺便说一下。我只是快速浏览一下您的代码，并且无法轻易判断百分位度量是否是针对3列组合的每列。对于整个数据帧，您可以这样做：

( df > df.stack().quantile(.25) ) & ( df < df.stack().quantile(.75) )

Answer 2

我正在寻找的答案是：

def identify_outliers(self,parameters_file):
    data=pandas.read_csv(parameters_file)
    header=data.keys()
    quantiles = data.quantile([0.25,0.75],1) 
    cols=data.shape[1]
    rows=data.shape[0]
    boolean_data=[]
    for i in range(len(header)):
        qnt_i = quantiles[header[i]].as_matrix()
        print data[header[i]][(qnt_i[0]<data[header[i]])&(data[header[i]]<qnt_i[1])]

与JohnE的回答非常相似。感谢您的回复

从基于百分位数的pandas数据框中排除数据

2 个答案: