我有一个pandas数据框,我想做一些分析,它看起来像这样:
from pandas import DataFrame
a = DataFrame([{'var1': 'K802', 'var2': 'No Concatenation', 'var3':'73410'},
{'var1': 'O342,O820,Z370', 'var2': '59514,01968', 'var3':'146010'},
{'var1': 'Z094', 'var2': 'No Concatenation', 'var3':'233210'},
{'var1': 'N920', 'var2': '58120', 'var3':'130910'},
{'var1': 'S801,W2064,I219', 'var2': 'No Concatenation', 'var3':'93630'},
{'var1': 'O987,O820,Z302,Z370', 'var2': '59514,01968,58611', 'var3':'146010'},
{'var1': 'O987,O820,Z302,Z370,E115', 'var2': '59514,01968,58611', 'var3':'146020'},
{'var1': 'N359,N319,J459', 'var2': '52281', 'var3':'113720'},
{'var1': 'O342,O343,O820,Z370', 'var2': '59514,01968,59871', 'var3':'146010'},
{'var1': 'J459,C449,E785,I10', 'var2': 'No Concatenation', 'var3':'43810'},
{'var1': 'Z380,C780,C189,I270,J449,Z933', 'var2': 'No Concatenation', 'var3':'157520'}])
print a.var1
0 K802
1 O342,O820,Z370
2 Z094
3 N920
4 S801,W2064,I219
5 O987,O820,Z302,Z370
6 O987,O820,Z302,Z370,E115
7 N359,N319,J459
8 O342,O343,O820,Z370
9 J459,C449,E785,I10
10 Z380,C780,C189,I270,J449,Z933
Name: var1, dtype: object
它已被截断,因为它来自的csv文件有100万多行。目标是结束这样的事情:
b = DataFrame([{'K802':1, 'O342': 0, 'O820':0, 'Z370':0, 'Z094': 0, 'N920':0, 'S801':0, 'W2064': 0, 'I219':0},
{'K802':0, 'O342': 1, 'O820':1, 'Z370':1, 'Z094': 0, 'N920':0, 'S801':0, 'W2064': 0, 'I219':0},
{'K802':0, 'O342': 0, 'O820':0, 'Z370':0, 'Z094': 1, 'N920':0, 'S801':1, 'W2064': 0, 'I219':0},
{'K802':0, 'O342': 0, 'O820':0, 'Z370':0, 'Z094': 0, 'N920':1, 'S801':0, 'W2064': 0, 'I219':0},
{'K802':0, 'O342': 0, 'O820':0, 'Z370':0, 'Z094': 0, 'N920':0, 'S801':1, 'W2064': 1, 'I219':1}])
print b
I219 K802 N920 O342 O820 S801 W2064 Z094 Z370
0 0 1 0 0 0 0 0 0 0
1 0 0 0 1 1 0 0 0 1
2 0 0 0 0 0 1 0 1 0
3 0 0 1 0 0 0 0 0 0
4 1 0 0 0 0 1 1 0 0
...
基本上,我想为a.var1
行中的每个唯一条目获取一个新列,然后使用该行中的1
填充列或0
因为没有。我需要分别为var1
,var2
和var3
执行此操作,然后通过原始a
的索引将这三个连接起来,以便我可以计算频率并且可能会有一些逻辑回归。
我是大熊猫的新手,似乎无法弄清楚如何有效地做到这一点。
任何帮助都将不胜感激。
答案 0 :(得分:3)
您可以使用pd.Series上定义的get_dummies
方法。对于此用例,使用| id | project_id | name | updated_at | rn |
|----|------------|--------|-----------------|----|
| 5 | 3 | Task 5 | 13:13:04.384477 | 1 |
| 3 | 2 | Task 3 | 13:12:54.680891 | 1 |
函数比使用它更直接。然后,您可以使用pd.concat来组合生成的dfs。
pd.get_dummies