我已成功使用groupby函数按组对给定变量求和或平均,但有没有办法聚合成值列表,而不是获得单个结果? (这还会被称为聚合吗?)
我不完全确定这是我应该采取的方法,所以下面是我想用玩具数据进行转换的一个例子。
也就是说,如果数据看起来像这样:
A B C
1 10 22
1 12 20
1 11 8
1 10 10
2 11 13
2 12 10
3 14 0
我最终想要的是以下内容。我不能完全确定这是否可以通过groupby聚合到列表中来完成,而且相对于从这里去哪里感到很遗憾。
假设输出:
A B C New1 New2 New3 New4 New5 New6
1 10 22 12 20 11 8 10 10
2 11 13 12 10
3 14 0
也许我应该追求支点呢?将数据放入列的顺序无关紧要 - 本例中的所有列B到New6都是等效的。所有建议/更正都非常感谢。
答案 0 :(得分:78)
我使用了以下
grouped = df.groupby('A')
df = grouped.aggregate(lambda x: tuple(x))
df['grouped'] = df['B'] + df['C']
答案 1 :(得分:25)
我正在回答其标题和第一句中所述的问题:以下将值汇总到列表中。
import pandas as pd
df = pd.DataFrame( {'A' : [1, 1, 1, 1, 2, 2, 3], 'B' : [10, 12, 11, 10, 11, 12, 14], 'C' : [22, 20, 8, 10, 13, 10, 0]})
print df
# Old version
# df2=df.groupby(['A']).apply(lambda tdf: pd.Series( dict([[vv,tdf[vv].unique().tolist()] for vv in tdf if vv not in ['A']]) ))
df2 = df.groupby('A').aggregate(lambda tdf: tdf.unique().tolist())
print df2
输出如下:
In [3]: run tmp
A B C
0 1 10 22
1 1 12 20
2 1 11 8
3 1 10 10
4 2 11 13
5 2 12 10
6 3 14 0
[7 rows x 3 columns]
B C
A
1 [10, 12, 11] [22, 20, 8, 10]
2 [11, 12] [13, 10]
3 [14] [0]
[3 rows x 2 columns]
答案 2 :(得分:16)
这是一个单线
# if list of unique items is desired, use set
df.groupby('A',as_index=False)['B'].aggregate(lambda x: set(x))
# if duplicate items are okay, use list
df.groupby('A',as_index=False)['B'].aggregate(lambda x: list(x))
答案 3 :(得分:7)
类似的解决方案,但相当透明(我认为)。您可以获得完整列表或唯一列表。
df = pd.DataFrame({'A':[1,1,2,2,2,3,3,3,4,5],
'B':[6,7, 8,8,9, 9,9,10,11,12],
'C':['foo']*10})
df
Out[24]:
A B C
0 1 6 foo
1 1 7 foo
2 2 8 foo
3 2 8 foo
4 2 9 foo
5 3 9 foo
6 3 9 foo
7 3 10 foo
8 4 11 foo
9 5 12 foo
list_agg = df.groupby(by='A').agg({'B':lambda x: list(x),
'C':lambda x: tuple(x)})
list_agg
Out[26]:
C B
A
1 (foo, foo) [6, 7]
2 (foo, foo, foo) [8, 8, 9]
3 (foo, foo, foo) [9, 9, 10]
4 (foo,) [11]
5 (foo,) [12]
unique_list_agg = df.groupby(by='A').agg({'B':lambda x: list(pd.unique(x)),
'C':lambda x: tuple(pd.unique(x))})
unique_list_agg
Out[28]:
C B
A
1 (foo,) [6, 7]
2 (foo,) [8, 9]
3 (foo,) [9, 10]
4 (foo,) [11]
5 (foo,) [12]
答案 4 :(得分:4)
我的解决方案比您预期的要长一点,我确信它可以缩短,但是:
g = df.groupby("A").apply(lambda x: pd.concat((x["B"], x["C"])))
k = g.reset_index()
k["i"] = k1.index
k["rn"] = k1.groupby("A")["i"].rank()
k.pivot_table(rows="A", cols="rn", values=0)
# output
# rn 1 2 3 4 5 6
# A
# 1 10 12 11 22 20 8
# 2 10 11 10 13 NaN NaN
# 3 14 10 NaN NaN NaN NaN
一点解释。第一行,g = df.groupby("A").apply(lambda x: pd.concat((x["B"], x["C"])))
。这一组df
按A
排列,然后将列B
和C
放入一列:
A
1 0 10
1 12
2 11
0 22
1 20
2 8
2 3 10
4 11
3 10
4 13
3 5 14
5 10
然后k = g.reset_index()
,创建顺序索引,结果是:
A level_1 0
0 1 0 10
1 1 1 12
2 1 2 11
3 1 0 22
4 1 1 20
5 1 2 8
6 2 3 10
7 2 4 11
8 2 3 10
9 2 4 13
10 3 5 14
11 3 5 10
现在我想将此索引移到列中(我想听听如何在不重置索引的情况下创建顺序列),k["i"] = k1.index
:
A level_1 0 i
0 1 0 10 0
1 1 1 12 1
2 1 2 11 2
3 1 0 22 3
4 1 1 20 4
5 1 2 8 5
6 2 3 10 6
7 2 4 11 7
8 2 3 10 8
9 2 4 13 9
10 3 5 14 10
11 3 5 10 11
现在,k["rn"] = k1.groupby("A")["i"].rank()
会在每个A
中添加row_number(如SQL中的row_number() over(partition by A order by i)
:
A level_1 0 i rn
0 1 0 10 0 1
1 1 1 12 1 2
2 1 2 11 2 3
3 1 0 22 3 4
4 1 1 20 4 5
5 1 2 8 5 6
6 2 3 10 6 1
7 2 4 11 7 2
8 2 3 10 8 3
9 2 4 13 9 4
10 3 5 14 10 1
11 3 5 10 11 2
最后,只需转动k.pivot_table(rows="A", cols="rn", values=0)
:
rn 1 2 3 4 5 6
A
1 10 12 11 22 20 8
2 10 11 10 13 NaN NaN
3 14 10 NaN NaN NaN NaN
答案 5 :(得分:1)
我一直在努力解决完全相同的问题,答案是肯定你可以使用grouby来获取列表。我不是百分百肯定我是以最pythonic的方式做这件事,但这里的价值在于我试图解决你的问题。您可以创建bygroups中包含的数据列表,如下所示:
import pandas as pd
import numpy as np
from itertools import chain
Data = {'A' : [1, 1, 1, 1, 2, 2, 3], 'B' : [10, 12, 11, 10, 11, 12, 14], 'C' : [22, 20, 8, 10, 13, 10, 0]}
DF = pd.DataFrame(Data)
DFGrouped = DF.groupby('A')
OutputLists = []
for group in DFGrouped:
AList = list(group[1].A)
BList = list(group[1].B)
CList = list(group[1].C)
print list(group[1].A)
print list(group[1].B)
print list(group[1].C)
ZIP = zip(BList, CList)
print ZIP
OutputLists.append(list(chain(*ZIP)))
OutputLists
这会按照我认为您想要的方式在列表列表中输出您的数据。然后,您可以将其设为数据框。以上印刷声明仅用于说明目的。使用my方法执行此操作的最有效(在代码方面)方式如下:
import pandas as pd
import numpy as np
from itertools import chain
Data = {'A' : [1, 1, 1, 1, 2, 2, 3], 'B' : [10, 12, 11, 10, 11, 12, 14], 'C' : [22, 20, 8, 10, 13, 10, 0]}
DF = pd.DataFrame(Data)
DFGrouped = DF.groupby('A')
OutputLists = []
for group in DFGrouped:
ZIPPED = zip(group[1].B, group[1].C)
OutputLists.append(list(chain(*ZIPPED)))
OutputLists
据我所知,从分组数据中获取列表的关键是识别数据本身存储在分组数据中每个组的组[1]中。
希望这有帮助!
答案 6 :(得分:0)
df2 = df.groupby('A').aggregate(lambda tdf: tdf.unique().tolist())
这似乎很完美,但是结果数据框具有两层列,而df.columns仅显示数据框中的一列。 要更正此问题,请使用:
df2_copy=df2.copy()
df2_copy = df2_copy.reset_index(col_level=0)
您可以使用以下方法查看列级别: df2_copy.columns = df2_copy.columns.get_level_values(0)
df2_copy()
应该解决这个问题。