通过列(字符串)中的唯一元素爆炸pandas数据帧并创建列联表?

时间:2016-09-12 11:24:24

标签: python pandas join split

我有一个pandas数据框,我想做一些分析,它看起来像这样:

from pandas import DataFrame
a = DataFrame([{'var1': 'K802', 'var2': 'No Concatenation', 'var3':'73410'},
           {'var1': 'O342,O820,Z370', 'var2': '59514,01968', 'var3':'146010'},
          {'var1': 'Z094', 'var2': 'No Concatenation', 'var3':'233210'},
          {'var1': 'N920', 'var2': '58120', 'var3':'130910'},
          {'var1': 'S801,W2064,I219', 'var2': 'No Concatenation', 'var3':'93630'},
          {'var1': 'O987,O820,Z302,Z370', 'var2': '59514,01968,58611', 'var3':'146010'},
          {'var1': 'O987,O820,Z302,Z370,E115', 'var2': '59514,01968,58611', 'var3':'146020'},
          {'var1': 'N359,N319,J459', 'var2': '52281', 'var3':'113720'},
          {'var1': 'O342,O343,O820,Z370', 'var2': '59514,01968,59871', 'var3':'146010'},
          {'var1': 'J459,C449,E785,I10', 'var2': 'No Concatenation', 'var3':'43810'},
          {'var1': 'Z380,C780,C189,I270,J449,Z933', 'var2': 'No Concatenation', 'var3':'157520'}])
print a.var1
0                              K802
1                    O342,O820,Z370
2                              Z094
3                              N920
4                   S801,W2064,I219
5               O987,O820,Z302,Z370
6          O987,O820,Z302,Z370,E115
7                    N359,N319,J459
8               O342,O343,O820,Z370
9                J459,C449,E785,I10
10    Z380,C780,C189,I270,J449,Z933
Name: var1, dtype: object

它已被截断,因为它来自的csv文件有100万多行。目标是结束这样的事情:

b = DataFrame([{'K802':1, 'O342': 0, 'O820':0, 'Z370':0, 'Z094': 0, 'N920':0, 'S801':0, 'W2064': 0, 'I219':0},
           {'K802':0, 'O342': 1, 'O820':1, 'Z370':1, 'Z094': 0, 'N920':0, 'S801':0, 'W2064': 0, 'I219':0},
           {'K802':0, 'O342': 0, 'O820':0, 'Z370':0, 'Z094': 1, 'N920':0, 'S801':1, 'W2064': 0, 'I219':0},
           {'K802':0, 'O342': 0, 'O820':0, 'Z370':0, 'Z094': 0, 'N920':1, 'S801':0, 'W2064': 0, 'I219':0},
           {'K802':0, 'O342': 0, 'O820':0, 'Z370':0, 'Z094': 0, 'N920':0, 'S801':1, 'W2064': 1, 'I219':1}])
print b
   I219  K802  N920  O342  O820  S801  W2064  Z094  Z370
0     0     1     0     0     0     0      0     0     0
1     0     0     0     1     1     0      0     0     1
2     0     0     0     0     0     1      0     1     0
3     0     0     1     0     0     0      0     0     0
4     1     0     0     0     0     1      1     0     0
...

基本上,我想为a.var1行中的每个唯一条目获取一个新列,然后使用该行中的1填充列或0因为没有。我需要分别为var1var2var3执行此操作,然后通过原始a的索引将这三个连接起来,以便我可以计算频率并且可能会有一些逻辑回归。 我是大熊猫的新手,似乎无法弄清楚如何有效地做到这一点。

任何帮助都将不胜感激。

1 个答案:

答案 0 :(得分:3)

您可以使用pd.Series上定义的get_dummies方法。对于此用例,使用| id | project_id | name | updated_at | rn | |----|------------|--------|-----------------|----| | 5 | 3 | Task 5 | 13:13:04.384477 | 1 | | 3 | 2 | Task 3 | 13:12:54.680891 | 1 | 函数比使用它更直接。然后,您可以使用pd.concat来组合生成的dfs。

pd.get_dummies