Question

生成数据

random.seed(42)
date_rng = pd.date_range(start='1/1/2018', end='1/08/2018', freq='H')
df = pd.DataFrame(np.random.randint(0,10,size=(len(date_rng), 3)),
                  columns=['data1', 'data2', 'data3'],
                 index= date_rng)
mask = np.random.choice([1, 0], df.shape, p=[.35, .65]).astype(bool)
df[mask] = np.nan

我要执行以下操作：计算每列的5％分位数，然后将该列中每个单元格的值与计算出的分位数进行比较：如果它们较小，则将它们设置为该列的5％分位数

我已经阅读了这些问题

Pandas DataFrame: replace all values in a column, based on condition

Replacing values greater than a number in pandas dataframe

并提出我的解决方案：

df[df < df.quantile(q=0.05, axis=0)] = df.quantile(q=0.05, axis=0)

但是它不起作用，因为我试图用一个序列替换每个值。我怎么解决这个问题？谢谢

Answer 1

您可以按DataFrame.quantile的所有列进行分位数，并将其传递给DataFrame.clip。

np.random.seed(42)
date_rng = pd.date_range(start='1/1/2018', end='1/08/2018', freq='H')
df = pd.DataFrame(np.random.randint(0,10,size=(len(date_rng), 3)),
                  columns=['data1', 'data2', 'data3'],
                 index= date_rng)
mask = np.random.choice([1, 0], df.shape, p=[.35, .65]).astype(bool)
print (df)
                     data1  data2  data3
2018-01-01 00:00:00      6      3      7
2018-01-01 01:00:00      4      6      9
2018-01-01 02:00:00      2      6      7
2018-01-01 03:00:00      4      3      7
2018-01-01 04:00:00      7      2      5
                   ...    ...    ...
2018-01-07 20:00:00      7      6      4
2018-01-07 21:00:00      0      6      6
2018-01-07 22:00:00      8      2      8
2018-01-07 23:00:00      0      0      3
2018-01-08 00:00:00      8      5      2

为了测试使用了不同的分位数：

print (df.quantile(q=0.55))
data1    6.0
data2    4.0
data3    5.0
Name: 0.55, dtype: float64

df = df.clip(lower=df.quantile(q=0.55), axis=1)
print (df)
                     data1  data2  data3
2018-01-01 00:00:00      6      4      7
2018-01-01 01:00:00      6      6      9
2018-01-01 02:00:00      6      6      7
2018-01-01 03:00:00      6      4      7
2018-01-01 04:00:00      7      4      5
                   ...    ...    ...
2018-01-07 20:00:00      7      6      5
2018-01-07 21:00:00      6      6      6
2018-01-07 22:00:00      8      4      8
2018-01-07 23:00:00      6      4      5
2018-01-08 00:00:00      8      5      5

如果熊猫设置的值小于5％，则列中的设置值等于5％

1 个答案: