Question

我有3个数据帧：df1，df2和df3。

df1 = 'num' 'type' 
       23     a 
       34     b 
       89     a 
       90     c

df2 = 'num' 'type' 
       23     a 
       34     b 
       56     a 
       90     c

df3 = 'num' 'type' 
       56     a 
       34     s 
       71     a 
       90     c

我想要的是所有＆＃39; num＆＃39;的输出。出现在2个或更多dfs中的值，我想标记有多少个dfs＆＃39; num＆＃39;价值出现了。所以我想要这样的东西：

df = 'num' 'type' 'count' 
       23     a       2 
       34     s       3 
       90     c       3 
       56     a       2

我尝试进行内部合并，但只考虑了＃num;＃39;显示在所有3个dfs中的值，忽略2/3 dfs中出现的值。最好的方法是什么？

Answer 1

et voila我的朋友

df_full = pd.concat([df1,df2,df3], axis = 0)
df_agg = df_full.groupby('num').agg({'type': 'count'})
df_agg = df_agg.loc[df_agg['type'] >= 2]

Answer 2

这是一个collections.Counter解决方案，其复杂度为O（n）。

如果需要，可以很容易地将计数结果带回pandas。

from collections import Counter

c = sum((Counter(df['num']) for df in [df1, df2, df3]), Counter())

c_masked = {k: v for k, v in c.items() if v>=2}

# {23: 2, 34: 3, 90: 3, 56: 2}

df = pd.DataFrame.from_dict(c_masked, orient='index')

#     0
# 23  2
# 34  3
# 90  3
# 56  2

Answer 3

以下是使用groupby和size

获得所需结果的另一种方法

d1 = {'num': [23,34,89,90], 'type': ['a', 'b', 'a', 'c']}
d2 = {'num': [23,34,56,90], 'type': ['a', 'b', 'a', 'c']}
d3 = {'num': [56,34,71,90], 'type': ['a', 's', 'a', 'c']}

df1 = pd.DataFrame(data=d1)
df2 = pd.DataFrame(data=d2)
df3 = pd.DataFrame(data=d3)

df10 = pd.concat([df1,df2,df3], axis=0)
# Using groupby with 'num' and 'type' and then using size to get the count.
# resent_index(name='count') will name the size column as 'count'
df20 = df10.groupby(['num','type']).size().reset_index(name='count')

# getting the index with 'count' >= 2 and storing those in df_out.
df_out = df20[df20['count'] >=2].reset_index(drop=True)
print(df_out)

输出如下：

   num type  count
0   23    a      2
1   34    b      2
2   56    a      2
3   90    c      3

供参考

print(df20)
   num type  count
0   23    a      2
1   34    b      2
2   34    s      1
3   56    a      2
4   71    a      1
5   89    a      1
6   90    c      3

查找3个DataFrame之间的常见值？

3 个答案: