我正在尝试将包含数据列表中列表的数据提供给机器学习算法:
例如,患者可能有几种药物和几种药物反应,他们也可能有名字。因此,如果他们服用超过1种药物,它将作为2个或更多的列表。他们只有一个名字。我认为单热编码是正确的方法。
这是我到目前为止所做的:
我有一个数据框:
df = pandas.DataFrame([{'drug': ['drugA','drugB'], 'patient': 'john'}, {'drug': ['drugC','drugD'], 'patient': 'angel'}])
drug patient
0 [drugA, drugB] john
1 [drugC, drugD] angel
我希望得到类似的内容:
drugA drugB drugC drugD patient
0 1 1 0 0 john
0 0 0 1 1 angel
我试过了:
pandas.get_dummies(df.apply(pandas.Series).stack()).sum(level=0)
但得到了:
TypeError: unhashable type: 'list'
答案 0 :(得分:2)
大量使用this answer,这是一种方法:
df = pd.DataFrame([{'drug': ['drugA','drugB'], 'patient': 'john'},
{'drug': ['drugC','drugD'], 'patient': 'angel'}])
s = df.drug
.apply(lambda x: pd.Series(x))
.unstack()
df2 = df.join(pd.DataFrame(s.reset_index(level=0, drop=True)))
.drop('drug',1)
.rename(columns={0:'drug'})
df2.merge(pd.get_dummies(df2.drug), left_index=True, right_index=True)
.drop('drug',1)
输出:
patient drugA drugB drugC drugD
0 john 1.0 0.0 0.0 0.0
0 john 0.0 1.0 0.0 0.0
0 john 1.0 0.0 0.0 0.0
0 john 0.0 1.0 0.0 0.0
1 angel 0.0 0.0 1.0 0.0
1 angel 0.0 0.0 0.0 1.0
1 angel 0.0 0.0 1.0 0.0
1 angel 0.0 0.0 0.0 1.0
答案 1 :(得分:0)
使用:
DataFrame
pandas.get_dummies
groupby
+ max
concat
原创df1 = pd.get_dummies(pd.DataFrame(df.pop('drug').values.tolist()), prefix='', prefix_sep='')
.groupby(axis=1, level=0).max()
df1 = pd.concat([df1, df], axis=1)
print (df1)
drugA drugB drugC drugD patient
0 1 1 0 0 john
1 0 0 1 1 angel
df1 = pd.get_dummies(pd.DataFrame(df['drug'].values.tolist()), prefix='', prefix_sep='') \
.groupby(axis=1, level=0).max()
df1 = pd.concat([df1, df.drop('drug', axis=1)], axis=1)
print (df1)
drugA drugB drugC drugD patient
0 1 1 0 0 john
1 0 0 1 1 angel
df1 = df.pop('drug').astype(str).replace(['\[','\]', "'", "\s+"], '', regex=True)
.str.get_dummies(',')
df1 = pd.concat([df1, df], axis=1)
print (df1)
drugA drugB drugC drugD patient
0 1 1 0 0 john
1 0 0 1 1 angel
df1 = df['drug'].astype(str).replace(['\[','\]', "'", "\s+"], '', regex=True)
.str.get_dummies(',')
df1 = pd.concat([df1, df.drop('drug', axis=1)], axis=1)
print (df1)
drugA drugB drugC drugD patient
0 1 1 0 0 john
1 0 0 1 1 angel