我在这个问题上已经有一段时间没有用了。这几乎与at least one other question on here重复,但我无法弄清楚如何从网上相关答案中找到我正在寻找的内容。
我有一个Pandas DataFrame(我们称之为df
),它看起来像:
Name Value Value2
'A' '8.8.8.8' 'x'
'B' '6.6.6.6' 'y'
'A' '6.6.6.6' 'x'
'A' '8.8.8.8' 'x'
其中Name
是索引。我希望将其转换为类似的内容:
Name Value Value2
'A' ['8.8.8.8', '6.6.6.6'] 'x'
'B' ['6.6.6.6'] 'y'
因此,基本上,对应于同一索引的每个Value
应该组合成一个列表(或一个集合或一个元组),并使该列表成为相应索引的Value
。并且,如图所示,Value2
在类似索引的行之间是相同的,所以它应该保持最终相同。
我所做的(成功的)是弄清楚如何将Value
列中的每个元素放入一个列表中:
df['Value'] = pd.Series([[val] for val in df['Value']])
在我在本文开头链接的问题中,将列与重复索引组合在一起的推荐方法提供了使用df.groupby(df.index).sum()
的解决方案。我知道我需要df.index
之外的其他内容作为groupby
的参数,因为Value
列被视为特殊内容,我不知道应该用什么代替sum()
因为那不是我想要的。
希望很清楚我在寻找什么,让我知道是否有任何我可以详细说明的内容。我也尝试过简单地循环遍历DataFrame,查找具有相同索引的行,将Values
组合到列表中并相应地更新df
。在尝试让这个方法工作了一点之后,我想我会寻找一种更多的Pandas式的方式来处理这个问题。
编辑:作为对德莱曼答案的跟进,这种解决方案有点奏效。 Values
似乎确实正确地连接到列表中。我意识到的一件事是unique
函数返回Series
,而不是DataFrame
。另外,实际设置中的列数多于Name
,Value
和Value2
。但我认为我能够通过以下方式成功解决这两个问题:
gb = df.groupby(tuple(df.columns.difference(['Value'])))
result = pd.DataFrame(gb['Value'].unique(), columns=df.columns)
第一行为列表列表的groupby
提供参数减去Value
列,第二行将Series
返回的unique
转换为DataFrame
列与df
列相同。
但我认为所有这些都存在(除非有人看到这个问题),几乎一切都按预期工作。不过,似乎确实有一些东西在这里。当我尝试将此输出到to_csv
的文件时,顶部有重复的标题(但只有某些标题是重复的,并且就我所知,没有真正的模式)。此外,Value
列表被截断,这可能是一个更简单的问题。 csv
输出电流如下所示:
Name Value Value2 Name Value2
'A' ['8.8.8.8' '7.7.7.7' 'x'
'B' ['6.6.6.6'] 'y'
以上看起来很奇怪,但这正是它在输出中的样子。请注意,与本文开头提供的示例相反,假设Values
的{{1}}多于A
(因此我可以说明这一点)。当我使用实际数据执行此操作时,Value
列表会在前4个元素之后被切断。
答案 0 :(得分:7)
我认为您希望使用pandas.Series.unique
。首先,将'Name'
索引设为列
df
# Value2 Value
#Name
#A x 8.8
#B y 6.6
#A x 6.6
#A x 8.8
df.reset_index(inplace=True)
# Name Value2 Value
#0 A x 8.8
#1 B y 6.6
#2 A x 6.6
#3 A x 8.8
接下来致电groupby
并致电unique
系列上的'Value'
功能
gb = df.groupby(('Name','Value2'))
result = gb['Value'].unique()
result.reset_index(inplace=True) #lastly, reset the index
# Name Value2 Value
#0 A x [8.8, 6.6]
#1 B y [6.6]
最后,如果您想再次使用'Name'
作为索引,只需执行
result.set_index( 'Name', inplace=True)
# Value2 Value
#Name
#A x [8.8, 6.6]
#B y [6.6]
作为后续操作,请确保在重置索引后重新分配结果
result = gb['Value'].unique()
type(result)
#pandas.core.series.Series
result = result.reset_index()
type(result)
#pandas.core.frame.DataFrame
您不希望在此处使用CSV,因为Value
列条目中有逗号。相反,保存为TSV,您仍然使用相同的方法to_csv
,只需更改sep
arg:
result.to_csv( 'result.txt', sep='\t')
如果我将EXCEL中的result.txt作为TSV加载,我得到