我有一个如下所示的Pandas Dataframe:
tags value
[tag1, tag2, tag3] 0
[tag2, tag3] 10
[tag1, tag3] 50
...
在此数据帧上,我想应用一个函数,该函数将为每行的每个标签创建一个新行,其中包含一列“标签”和一列“ related_tags”。 这是我期望的示例:
tag value related_tags
tag1 0 [tag2, tag3]
tag2 0 [tag1, tag3]
tag3 0 [tag1, tag2]
tag2 10 [tag3]
tag3 10 [tag2]
tag1 50 [tag3]
tag3 50 [tag1]
我熟悉Spark DataFrames,但不熟悉Pandas,是否有一种简单的方法来实现这一目标?
答案 0 :(得分:4)
首先是unnesting问题,在炸开列表列tags
之后,问题更加清楚了
newdf=unnesting(df,['tags']).reset_index()
newdf['related_tags']=newdf['index'].map(df.tags)
newdf['related_tags']=[list(set(y)-{x})for x , y in zip(newdf.tags,newdf.related_tags)]
newdf
Out[48]:
index tags value related_tags
0 0 tag1 0 [tag2, tag3]
1 0 tag2 0 [tag3, tag1]
2 0 tag3 0 [tag2, tag1]
3 1 tag2 10 [tag3]
4 1 tag3 10 [tag2]
数据输入
df=pd.DataFrame({'tags':[['tag1','tag2','tag3'],['tag2','tag3']],'value':[0,10]})
自定义function
def unnesting(df, explode):
idx=df.index.repeat(df[explode[0]].str.len())
df1=pd.concat([pd.DataFrame({x:np.concatenate(df[x].values)} )for x in explode],axis=1)
df1.index=idx
return df1.join(df.drop(explode,1),how='left')