Question

我有一个数据集，其中包含一些我想删除的异常值。我想在下面显示的数据框中删除0值：

df = pd.DataFrame({'Time': [0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9], 'data': [1.1, 1.05, 1.01, 1.05, 0, 1.2, 1.1, 1.08, 1.07, 1.1]})

我可以执行以下操作以删除低于特定阈值的值：

df.loc[df['data'] < 0.5, 'data'] = np.NaN

这为我生成了一个列表，其中没有'0'值：

   Time  data
0   0.0  1.10
1   0.1  1.05
2   0.2  1.01
3   0.3  1.05
4   0.4   NaN
5   0.5  1.20
6   0.6  1.10
7   0.7  1.08
8   0.8  1.07
9   0.9  1.10

但是，我也对无效值周围的数据感到怀疑，并希望从异常值中删除“ 0.2”单位的时间单位。如下所示：

   Time  data
0   0.0  1.10
1   0.1  1.05
2   0.2   NaN
3   0.3   NaN
4   0.4   NaN
5   0.5   NaN
6   0.6   NaN
7   0.7  1.08
8   0.8  1.07
9   0.9  1.10

Answer 1

您可以获得所有时间点的列表，这些时间点中您的测量值不正确，并过滤所有附近的时间值：

bad_times = df.Time[df['data'] < 0.5]

for t in bad_times:
    df.loc[(df['Time'] - t).abs() <= 0.2, 'data'] = np.NaN

结果：

>>> print(df)
   Time  data
0   0.0  1.10
1   0.1  1.05
2   0.2   NaN
3   0.3   NaN
4   0.4   NaN
5   0.5   NaN
6   0.6   NaN
7   0.7  1.08
8   0.8  1.07
9   0.9  1.10

Answer 2

您可以获得要删除的时间列表，然后对这些行应用nan。

df.loc[df['data'] < 0.5, 'data'] = np.NaN
l=df[df['data'].isna()]['Time'].values
l2=[]
for i in l:
    l2=l2+[round(i-0.1,1),round(i-0.2,1),round(i+0.1,1),round(i+0.2,1)]
df.loc[df['Time'].isin(l2), 'data'] = np.nan

从数据框中删除异常值和周围数据

2 个答案: