Question

我试图用基于列或按列分组的多列训练数据的平均值填充测试数据中的nan值。这是测试数据的一部分：

    date_block_num  shop_id     item_id     item_category_id    target  item_price  avg_item_price  sum_item_cnt_day    avg_item_cnt_day    shop_avg_item_price     ...     avg_item_cnt_day_lag_12     shop_avg_item_price_lag_12  shop_sum_item_cnt_day_lag_12    shop_avg_item_cnt_day_lag_12    category_avg_item_price_lag_12  category_sum_item_cnt_day_lag_12    category_avg_item_cnt_day_lag_12    shop_avg_item_price_per_category_lag_12     shop_sum_item_cnt_per_category_lag_12   shop_avg_item_cnt_per_category_lag_12
0   26.5    5   5037    19.0    0.928571    1788.897788     1934.764286     90.714286   1.937141    868.822366  ...     0.383736    619.341077  181.571429  0.029328    716.813821  779.214286  0.084066    716.052585  10.285714   0.056515
1   NaN     5   5320    NaN     NaN     NaN     NaN     NaN     NaN     NaN     ...     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN
2   30.0    5   5233    19.0    1.428571    854.861715  842.778086  72.428571   1.685456    914.767445  ...     0.000000    597.460870  0.000000    0.000000    591.507516  0.000000    0.000000    591.790514  0.000000    0.000000
3   32.0    5   5232    23.0    0.333333    728.018465  790.297277  47.000000   1.100087    965.966832  ...     0.000000    597.460870  0.000000    0.000000    591.507516  0.000000    0.000000    591.790514  0.000000    0.000000
4   NaN     5   5268    NaN     NaN     NaN     NaN     NaN     NaN     NaN     ...     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN

5 rows × 102 columns

所以我想用基于item_id的列的平均值替换nans。

第一我知道，我可以按以下方式获得按item_id分组的火车数据列的平均值：

mt = train.groupby('item_id').apply(lambda x: np.mean(x))

然后，我发现我尝试对测试集中的每一列使用fillna，如下所示：

for col in test.columns:

    test[col] = test.groupby('item_id')[col].apply(lambda x: x.fillna...)

我无法从火车上获取平均值而不是进行测试。怎么做？这是最好的方法还是更好的方法？谢谢。

Answer 1

如果您的train和test数据框具有相同的形状（＃行，＃列）

我们可以使用pandas.DataFrame.combine_first 为此，但不能与groupby中发生的汇总结合使用，因为combine_first将NaN替换为另一个数据帧中相同位置的值。

这就是为什么我们需要为此使用pandas.DataFrame.transform的原因，因为它使我们的数据帧的shape保持不变：

# make two example dataframes
train = pd.DataFrame({'item_id':[5037, 5320, 5037, 5320],
                      'num1': [10, 8, 9, 5],
                      'num2': [3, 5, 1, 9]})

test = pd.DataFrame({'item_id':[5037, 5320, 5037, 5320],
                     'num1': [6, np.NaN, 3, 7],
                     'num2': [np.NaN, 4, np.NaN, 9]})

print(train, '\n')
print(test)

   item_id  num1  num2
0     5037    10     3
1     5320     8     5
2     5037     9     1
3     5320     5     9 

   item_id  num1  num2
0     5037   6.0   NaN
1     5320   NaN   4.0
2     5037   3.0   NaN
3     5320   7.0   9.0

我们应用groupby.transform和combine_first

train_means = train.groupby('item_id').transform('mean')
test.combine_first(train_means)

   item_id  num1  num2
0     5037   6.0   2.0
1     5320   6.5   4.0
2     5037   3.0   2.0
3     5320   7.0   9.0

如果您的train和test数据框的形状不同（＃行，＃cols），它变得更加复杂。

我们可以执行以下操作：

我们可以使用pandas.groupby.mean来获取每个item_id和谷值的平均值
之后，我们pandas.DataFrame.merge将每个对应的item_id的均值和train数据帧的均值获取到我们的test数据帧中。
然后，我们对列名称进行排序，并有条件地用来自应用NaN的{{1}}数据集的同一列的值填充train。为此，我们使用np.where。

groupby

应用合并

train_grp = train.groupby('item_id').mean().reset_index()

print(train_grp)
   item_id  num1  num2
0     5037   9.5   2.0
1     5320   6.5   7.0

创建相应列的字典

test_merged = test.merge(train_grp, on='item_id', suffixes=['_test', '_train'])

print(test_merged)
   item_id  num1_test  num2_test  num1_train  num2_train
0     5037        6.0        NaN         9.5         2.0
1     5037        3.0        NaN         9.5         2.0
2     5320        NaN        4.0         6.5         7.0
3     5320        7.0        9.0         6.5         7.0

有条件地替换test_cols = [col for col in test_merged.columns if 'test' in col] train_cols = [col for col in test_merged.columns if 'train' in col] dict_cols =dict(zip(test_cols, train_cols)) print(dict_cols) {'num1_test': 'num1_train', 'num2_test': 'num2_train'}

Nan

说明
for test, train in dict_cols.items(): test_merged[test] = np.where(test_merged[test].isnull(), test_merged[train], test_merged[test]) # Clean up dataframe test_merged.drop(train_cols, axis=1, inplace=True) test_merged.columns = test_merged.columns.str.replace('_test', '') print(test_merged) item_id num1 num2 0 5037 6.0 2.0 1 5037 3.0 2.0 2 5320 6.5 4.0 3 5320 7.0 9.0的工作方式如下：np.where

用熊猫表中的训练数据的平均值填充测试数据中的nan值

1 个答案: