Pandas:创建新的数据框,平均来自另一个数据框的重复数据

时间:2013-05-21 20:05:49

标签: python pandas

假设我有一个带有列重复项的数据框my_df,e..g

foo bar foo hello
0   1   1   5
1   1   2   5
2   1   3   5

我想创建另一个平均重复项的数据框:

foo bar hello
0.5   1   5
1.5   1   5
2.5   1   5

我怎么能在熊猫中做到这一点?

到目前为止,我已设法识别重复项:

my_columns = my_df.columns
my_duplicates = print [x for x, y in collections.Counter(my_columns).items() if y > 1]

我不知道如何让熊猫对它们进行平均。

1 个答案:

答案 0 :(得分:5)

您可以groupby列索引并获取mean

In [11]: df.groupby(level=0, axis=1).mean()
Out[11]:
   bar  foo  hello
0    1  0.5      5
1    1  1.5      5
2    1  2.5      5

一个有点棘手的例子是如果有一个非数字列:

In [21]: df
Out[21]:
   foo  bar  foo hello
0    0    1    1     a
1    1    1    2     a
2    2    1    3     a

上面会提出:DataError: No numeric types to aggregate绝对将赢得任何奖品以提高效率,但这里的通用方法是在这种情况下:

In [22]: dupes = df.columns.get_duplicates()

In [23]: dupes
Out[23]: ['foo']

In [24]: pd.DataFrame({d: df[d] for d in df.columns if d not in dupes})
Out[24]:
   bar hello
0    1     a
1    1     a
2    1     a

In [25]: pd.concat(df.xs(d, axis=1) for d in dupes).groupby(level=0, axis=1).mean()
Out[25]:
   foo
0  0.5
1  1.5
2  2.5

In [26]: pd.concat([Out[24], Out[25]], axis=1)
Out[26]:
   foo  bar hello
0  0.5    1     a
1  1.5    1     a
2  2.5    1     a

我认为要拿走的东西是避免列重复......或者也许我不知道我在做什么。