Question

我有一个看起来像这样的df（500万行和大约250个不同的条约编号（均为字符串））：

      Id   Name    Treaty Number
 0  Id88   Jack              x12
 1  Id87   John              x33
 2  Id88    Jim              x22
 3  Id11   Hans              x12
 4  Id12   Ivan              x33
 5  Id88   Sara              x22
 6  Id11    Max              x12
 7  Id11  Peter              x33

我想找到所有重复的ID和属于该ID的每个条约编号的计数。

完全是这样：

           Sum  
   Id88      3    x12: 1, x22:2, ....
   Id11      3    x12: 2, x33:1,...

现在我有以下代码：

    import pandas as pd
    import numpy as np

    data = np.array([
    ['Id88', 'Jack', 'x12'], 
    ['Id87', 'John', 'x33'], 
    ['Id88', 'Jim', 'x22'],
    ['Id11', 'Hans', 'x12'],
    ['Id12', 'Ivan', 'x33'],
    ['Id88', 'Sara', 'x22'],
    ['Id11', 'Max', 'x12'],
    ['Id11', 'Peter', 'x33'],
    ])
    columns=['Id', 'Name', 'Treaty Number']

    df = pd.DataFrame(data= data, columns = columns)

    dublicateIDs = df[df.duplicated(subset=['Id'],keep=False )]

    pivotIDs = dublicateIDs.pivot_table(index=['Id'], aggfunc='size')
    pivotIDs = pivotIDs.sort_values(ascending=False)

    pivotTreaty = dublicateIDs.pivot_table(index=['Id'], columns = 'Treaty Number', aggfunc='size', 
    fill_value=0)

    concatDF = [pivotIDs, pivotTreaty]
    pivotIDsCombine = pd.concat(concatDF, axis=1, sort=False)
    columnNames = pivotIDsCombine.columns.tolist()
    columnNames[0] = 'Sum'
    pivotIDsCombine.columns = columnNames
    print(pivotIDsCombine)

以及以下结果：

         Sum  x12  x22  x33
 Id88      3    1    2    0
 Id11      3    2    0    1

由于行数（5m）和条约编号（250）众多，并且每个ID的条约数量很少，所以我有一个巨大的表，里面充满了NaN（或零）。

是否有使用枢纽分析表达到所需格式的简便方法，还是我应该循环遍历每列/每行并手动计算出现次数？

Answer 1

这应该可以帮助您

df['temp'] = 1
df1 = df.groupby(['Id', 'Treaty Number'])['temp'].count().reset_index()
df1 = df1.pivot_table(index='Id', columns='Treaty Number')
df1.columns = df1.columns.droplevel()
df1.columns.name = None
df1.fillna(0, inplace=True)
df1['Sum'] = df1.sum(axis=1)

计算在熊猫数据透视表中出现的次数

1 个答案: