Question

我有一个数据框df：

df=pd.DataFrame([[47,55,47,50,200], [33,37,30,25,100],[61,65,54,57,300],[25,26,21,22,400], [25,29,23,28,410],[28,34,32,30,430],[32,31,30,28,1000]], columns=['open','high','low','close','volume'])
print(df)

  open high low close volume
0   47  55  47  50  200
1   33  37  30  25  100
2   61  65  54  57  300
3   25  26  21  22  400
4   25  29  23  28  410
5   28  34  32  30  430
6   32  31  30  28  1000

我想使用公式

从卷列替换75th percentile的异常值

if df['volume'] > (3IQR + vol_q3):

3IQR IQR * 3

和vol_q3是最后N个值的第75个百分点来自音量（在这种情况下是最后4个值）。

我写的代码如下：

from collections import deque
import pandas as pd
import numpy as np

vol_q=deque()

q1 = df['volume'].quantile(0.25)
q3 = df['volume'].quantile(0.75)
iqr_3 = 3*(q3 - q1)

for idx, rows in df.iterrows():
    if idx < 5:
        vol_q.append(rows['volume'])
    else :
        vol_q.popleft()
        vol_q.append(rows['volume'])

    vol_q3 = np.percentile(list(vol_q), 75)

    if rows['volume'] > (iqr_3 + vol_q3):
        rows['volume'] = q3

输出：

    open high low close volume
0   47  55  47  50  200
1   33  37  30  25  100
2   61  65  54  57  300
3   25  26  21  22  400
4   25  29  23  28  410
5   28  34  32  30  430
6   32  31  30  28  420

它正在运行，但对于我拥有的数据量来说太慢了。还有其他方法可以更快地实现它吗？如何使用apply来使用之前的 N值？

欢迎任何建议。感谢

Answer 1

v = df.volume # other columns not relevant to question
q = v.rolling(4).quantile(0.75) # 75th percentile of last 4
r = v.where(v <= iqr_3 + q, q3)

q是矢量化滚动分位数，无需循环即可快速计算。结果是r，因为您的示例数据似乎没有包含足以触发条件的值，但我觉得您看到了这个想法。

如何在if语句

1 个答案: