Question

我需要基于由groupby和mean函数创建的第二个数据帧在主数据帧中填充NA值。我的原始数据框需要填充约1.5K NaN，因此需要大规模重现。我创建了一个伪造的数据框，它使用伪造的场景对我的数据进行了短暂而又肮脏的模仿。我无法与您分享我的真实数据。

我的一般想法是：

main_data[
          (main_data["Animal_Type"] == mean_data["Animal_Type"]) & 
          (main_data["Cost_Type"] == mean_data["Cost_Type"])
         ] = main_data["Price"].fillna(mean_data["Price"])

很显然，这是行不通的，但这是我的逻辑运作方式的一般要旨。我找到了[他的答案] [1]，但看不到将其正确地应用于我的问题。很多答案都涉及mask，或者假设我的数据很小，只有一个值可以替换我所有的NaN。我的原始数据集中有大约50种不同的均值，每种“成本类型”分别与“动物类型”配对。我的原始数据帧大约有3万个观测值，而且充满了独特的观测值。我可以映射，但这仅适用于单个列。我对编码还很陌生，因此许多其他答案对我来说也太复杂了。

main_data

mean_data.head(10)

   **Pet_ID Animal_Type Cost_Type   Price**
0   101     Goat        Housing     6.0
1   102     Dog         Housing     6.0
2   103     Horse       Housing     NaN
3   104     Horse       Housing     5.0
4   105     Goat        Housing     3.0
5   106     Dog         Feeding     3.0
6   107     Cat         Feeding     6.0
7   108     Horse       Housing     6.0
8   109     Hamster     Feeding     5.0
9   110     Horse       Feeding     3.0

平均数据

    Animal_Type Cost_Type   Price
0   Cat         Feeding     4.500000
1   Cat         Housing     5.000000
2   Chicken     Feeding     5.000000
3   Chicken     Housing     4.500000
4   Dog         Feeding     3.000000
5   Dog         Housing     6.000000
6   Goat        Feeding     5.000000
7   Goat        Housing     5.000000
8   Hamster     Feeding     5.250000
9   Hamster     Housing     3.000000
10  Horse       Feeding     3.500000
11  Horse       Housing     5.666667
12  Rabit       Feeding     3.000000
13  Rabit       Housing     3.000000

我的可复制代码：

random.seed(10)

random.seed(10)

main_data = pd.DataFrame(columns = ["Pet_ID", "Animal_Type", "Cost_Type", "Price", "Cost"])

main_data["Pet_ID"] = pd.Series(list(range(101,150)))
main_data["Animal_Type"] = main_data.Animal_Type.apply(lambda x: random.choice(["Dog", "Cat", "Rabit", "Horse", "Goat", "Chicken", "Hamster"])) 
main_data["Cost_Type"] = main_data.Animal_Type.apply(lambda x: random.choice(["Housing", "Feeding"])) 
main_data["Price"] = main_data.Price.apply(lambda x: random.choice([3, 5, 6, np.nan])) 
main_data["Cost"] =  main_data.Cost.apply(lambda x: random.choice([2, 1, 3, np.nan])) 

mean_data = main_data.groupby(["Animal_Type", "Cost_Type"])["Price"].mean().reset_index()

编辑：我已经提出了两种解决方案，但我不会说这是更优雅或更可靠的解决方案。可能也不是最有效的。

main_data = pd.merge(
    main_data,
    mean_data,
    on = ["Animal_Type", "Cost_Type"],
    how = "left"
)

main_data["Price_z"] = main_data["Price_x"].fillna(main_data["Price_y"])

编辑2 ：我添加了带有NaN的“费用”列。我不想触及此列，但希望对价格列使用与本列相同的方法。 [1]：Replace values based on multiple conditions with groupby mean in Pandas

Answer 1

我需要根据由>>> list(gen_substrs_with_replacement(2, 3)) [('a',), ('b',), ('c',), ('a', 'a'), ('a', 'b'), ('a', 'c'), ('b', 'b'), ('b', 'c'), ('c', 'c')] >>> len(list(gen_substrs_with_replacement(2, 3))) 9 >>> nCk_r(2,3,True) 9 >>> len(list(gen_substrs_with_replacement(12, 10))) 646645 >>> nCk_r(12,10,True) 646645和groupby函数创建的第二个数据帧在主数据帧中填充NA值。

您不需要这一步。您可以通过将其分组为多个数据帧，在每个数据帧上应用均值并在该数据帧内填充NA值来一步一步实现。

因此，不要创建mean数据框，而是这样做：

mean_data

每次单独调用fill_by_mean（）都会看到一个数据框，如下所示：

def fill_by_mean(df):
    df["Price"] = df["Price"].fillna(df["Price"].mean())
    return df

main_data = main_data.groupby(["Animal_Type", "Cost_Type"]).apply(fill_by_mean)

然后，它获取价格列的均值并使用该值填充NA值。然后，Groupby将所有单个数据帧重新连接在一起。

如何基于匹配值的辅助数据框的条件来填充主数据框列中的NaN以用多个填充值填充NaN

1 个答案: