从DataFrame

Question

我在过滤数据时遇到了很大问题。我已经在stackoverflow和其他页面和教程上阅读了很多内容，但我无法解决我的具体问题...... 我的代码的第一部分，我将数据加载到python中，如下所示：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from arch import arch_model


spotmarket = pd.read_excel("./data/external/Spotmarket_dhp.xlsx", index=True)

r = spotmarket['Price'].pct_change().dropna()

returns = 100 * r
df = pd.DataFrame(returns)

excel表在一列中有43.000个值，包括每小时价格。我使用这些数据来计算从小时到小时的百分比变化，问题是，有时在1000到40000％之间会有很大的变化。数据框如下所示：

df
Out[12]: 
              Price
1         20.608229
2         -2.046870
3          6.147789
4         16.519258
             ...
43827    -16.079874
43828     -0.438322
43829    -40.314465
43830   -100.105374
43831    700.000000
43832    -62.500000
43833 -40400.000000
43834      1.240695
43835     52.124183
43836     12.996778
43837    -17.157795
43838    -30.349971
43839      6.177924
43840     45.073701
43841     76.470588
43842      2.363636
43843     -2.161042
43844     -6.444781
43845    -14.877102
43846      6.762918
43847    -38.790036
[43847 rows x 1 columns]

我想排除这些异常值。我尝试了不同的方法，例如计算mean和std，并排除距离std {+ 1}}的+和 - 三倍的所有值。它适用于一小部分数据，但对于完整数据，均值和标准均为mean。有人有想法，我如何过滤我的数据框？

Answer 1

我认为需要按quantile的百分位数进行过滤：

r = spotmarket['Price'].pct_change() * 100

Q1 = r.quantile(.25)
Q3 = r.quantile(.75)
q1 = Q1-1.5*(Q3-Q1)
q3 = Q3+1.5*(Q3-Q1)

df = spotmarket[r.between(q1, q3)]

Answer 2

您可能应首先丢弃产生这些波动的所有值，然后创建数据帧。一种方法是使用filter()