多键问题的解决方案：

Question

我正在处理像这样的pandas DataFrame：

我想用具有相同“id”值的行中的前一个非NAN'x'替换每个NAN'x'：

是否有一些灵活的方法可以在不手动循环行的情况下执行此操作？

Answer 1

您可以对每个组执行groupby/forward-fill操作：

import numpy as np
import pandas as pd

df = pd.DataFrame({'id': [1,1,2,2,1,2,1,1], 'x':[10,20,100,200,np.nan,np.nan,300,np.nan]})
df['x'] = df.groupby(['id'])['x'].ffill()
print(df)

产量

   id      x
0   1   10.0
1   1   20.0
2   2  100.0
3   2  200.0
4   1   20.0
5   2  200.0
6   1  300.0
7   1  300.0

Answer 2

df
   id   val
0   1   23.0
1   1   NaN
2   1   NaN
3   2   NaN
4   2   34.0
5   2   NaN
6   3   2.0
7   3   NaN
8   3   NaN

df.sort_values(['id','val']).groupby('id').ffill()

    id  val
0   1   23.0
1   1   23.0
2   1   23.0
4   2   34.0
3   2   34.0
5   2   34.0
6   3   2.0
7   3   2.0
8   3   2.0

使用sort_values，groupby和ffill，这样如果第一个值或第一个值的值为Nan，它们也会被填充。

Answer 3

多键问题的解决方案：

在此示例中，数据具有键[日期，区域，类型]。日期是原始数据帧上的索引。

body {

background-image: url("./image.jpg");
 }

检查结果：

import os
import pandas as pd

#sort to make indexing faster
df.sort_values(by=['date','region','type'], inplace=True)

#collect all possible regions and types
regions = list(set(df['region']))
types = list(set(df['type']))

#record column names
df_cols = df.columns

#delete ffill_df.csv so we can begin anew
try:
    os.remove('ffill_df.csv')
except FileNotFoundError:
    pass

# steps:
# 1) grab rows with a particular region and type
# 2) use forwardfill to fill nulls
# 3) use backwardfill to fill remaining nulls
# 4) append to file
for r in regions:
    for t in types:
        group_df = df[(df.region == r) & (df.type == t)].copy()
        group_df.fillna(method='ffill', inplace=True)
        group_df.fillna(method='bfill', inplace=True)
        group_df.to_csv('ffill_df.csv', mode='a', header=False, index=True)

使用以前的非缺失值填写缺失的pandas数据，按键分组

3 个答案:

多键问题的解决方案：