Pandas DataFrame - 将一列的值与相同的索引合并到列表

时间:2015-08-03 21:22:28

标签: python pandas

我在这个问题上已经有一段时间没有用了。这几乎与at least one other question on here重复,但我无法弄清楚如何从网上相关答案中找到我正在寻找的内容。

我有一个Pandas DataFrame(我们称之为df),它看起来像:

Name    Value        Value2
'A'     '8.8.8.8'    'x'
'B'     '6.6.6.6'    'y'
'A'     '6.6.6.6'    'x'
'A'     '8.8.8.8'    'x'

其中Name是索引。我希望将其转换为类似的内容:

Name    Value                     Value2
'A'     ['8.8.8.8', '6.6.6.6']    'x'
'B'     ['6.6.6.6']               'y'

因此,基本上,对应于同一索引的每个Value应该组合成一个列表(或一个集合或一个元组),并使该列表成为相应索引的Value 。并且,如图所示,Value2在类似索引的行之间是相同的,所以它应该保持最终相同。

我所做的(成功的)是弄清楚如何将Value列中的每个元素放入一个列表中:

df['Value'] = pd.Series([[val] for val in df['Value']])

在我在本文开头链接的问题中,将列与重复索引组合在一起的推荐方法提供了使用df.groupby(df.index).sum()的解决方案。我知道我需要df.index之外的其他内容作为groupby的参数,因为Value列被视为特殊内容,我不知道应该用什么代替sum()因为那不是我想要的。

希望很清楚我在寻找什么,让我知道是否有任何我可以详细说明的内容。我也尝试过简单地循环遍历DataFrame,查找具有相同索引的行,将Values组合到列表中并相应地更新df。在尝试让这个方法工作了一点之后,我想我会寻找一种更多的Pandas式的方式来处理这个问题。

编辑:作为对德莱曼答案的跟进,这种解决方案有点奏效。 Values似乎确实正确地连接到列表中。我意识到的一件事是unique函数返回Series,而不是DataFrame。另外,实际设置中的列数多于NameValueValue2。但我认为我能够通过以下方式成功解决这两个问题:

gb = df.groupby(tuple(df.columns.difference(['Value'])))
result = pd.DataFrame(gb['Value'].unique(), columns=df.columns)

第一行为列表列表的groupby提供参数减去Value列,第二行将Series返回的unique转换为DataFrame列与df列相同。

但我认为所有这些都存在(除非有人看到这个问题),几乎一切都按预期工作。不过,似乎确实有一些东西在这里。当我尝试将此输出到to_csv的文件时,顶部有重复的标题(但只有某些标题是重复的,并且就我所知,没有真正的模式)。此外,Value列表被截断,这可能是一个更简单的问题。 csv输出电流如下所示:

Name    Value                   Value2    Name    Value2
'A'     ['8.8.8.8' '7.7.7.7'    'x'                     
'B'     ['6.6.6.6']             'y'

以上看起来很奇怪,但这正是它在输出中的样子。请注意,与本文开头提供的示例相反,假设Values的{​​{1}}多于A(因此我可以说明这一点)。当我使用实际数据执行此操作时,Value列表会在前4个元素之后被切断。

1 个答案:

答案 0 :(得分:7)

我认为您希望使用pandas.Series.unique。首先,将'Name'索引设为列

df
#     Value2  Value
#Name              
#A         x    8.8
#B         y    6.6
#A         x    6.6
#A         x    8.8

df.reset_index(inplace=True)
#  Name Value2  Value
#0    A      x    8.8
#1    B      y    6.6
#2    A      x    6.6
#3    A      x    8.8

接下来致电groupby并致电unique系列上的'Value'功能

gb = df.groupby(('Name','Value2'))
result = gb['Value'].unique()
result.reset_index(inplace=True) #lastly, reset the index
#  Name Value2       Value
#0    A      x  [8.8, 6.6]
#1    B      y       [6.6]

最后,如果您想再次使用'Name'作为索引,只需执行

result.set_index( 'Name', inplace=True)
#     Value2       Value
#Name                   
#A         x  [8.8, 6.6]
#B         y       [6.6]

更新

作为后续操作,请确保在重置索引后重新分配结果

result = gb['Value'].unique()
type(result)
#pandas.core.series.Series

result = result.reset_index()
type(result)
#pandas.core.frame.DataFrame

另存为CSV(而不是TSV)

您不希望在此处使用CSV,因为Value列条目中有逗号。相反,保存为TSV,您仍然使用相同的方法to_csv,只需更改sep arg:

result.to_csv( 'result.txt', sep='\t')

如果我将EXCEL中的result.txt作为TSV加载,我得到

enter image description here