Question

我正在尝试获取一些行数据作为大熊猫的列。

我的原始数据框如下所示（具有更多列）。大多数数据是针对同一员工重复的，但是某些信息会发生变化，例如本示例中的薪水。员工具有不同的条目数（在这种情况下，员工1具有两个条目，2具有4，依此类推）。

employee_id    salary    other1      other2      other3
1              50000     somedata1   somedata2   somedata3
1              48000     somedata1   somedata2   somedata3
2              80000     somedata20  somedata21  somedata22
2              77000     somedata20  somedata21  somedata22
2              75000     somedata20  somedata21  somedata22
2              74000     somedata20  somedata21  somedata22
3              60000     somedata30  somedata31  somedata32

我正在尝试获取如下内容。薪水数据应跨越几列，并使用条目较少的员工的最后可用薪水（在此示例中为重复的薪水值）。

employee_id    salary   prevsalary1    prevsalary2    prevsalary3    other1      other2      other3
1              50000    48000          48000          48000          somedata1   somedata2   somedata3
2              80000    77000          75000          74000          somedata20  somedata21  somedata22
3              60000    60000          60000          60000          somedata30  somedata31  somedata32

我尝试分组

df.groupby(["employee_id"])['salary'].nlargest(3).reset_index()

但是我没有得到所有专栏。我找不到一种方法来保留其余的列。我是否需要与原始数据框合并，连接或类似的东西？

此外，我得到了一个名为“ level_1”的列。我想我可以使用reset_index(level=1, drop=True)摆脱它，但是我相信这不会返回数据框。

最后，我想如果我正确地进行了分组，还有一个步骤来获取列...也许使用pivot或unstack？

我正在开始机器学习的旅程，我一直在努力学习，希望您能帮到我：）

创建数据集：

df = pd.DataFrame({'emp_id':[1,1,2,2,2,2,3],'salary':[50000,48000,80000,77000,75000,74000,60000]})

df['other1'] =['somedata1','somedata1','somedata20','somedata20','somedata20','somedata20','somedata30']
df['other2'] = df['other1'].apply(lambda x: x+'1')
df['other3'] = df['other1'].apply(lambda x: x+'2')
df

Out[59]:
   emp_id  salary      other1       other2       other3
0       1   50000   somedata1   somedata11   somedata12
1       1   48000   somedata1   somedata11   somedata12
2       2   80000  somedata20  somedata201  somedata202
3       2   77000  somedata20  somedata201  somedata202
4       2   75000  somedata20  somedata201  somedata202
5       2   74000  somedata20  somedata201  somedata202
6       3   60000  somedata30  somedata301  somedata302

Answer 1

一种方法是将pd.pivot_table与ffill结合使用：

g = df.groupby('employee_id')
cols = g.salary.cumcount()
out = df.pivot_table(index='employee_id', values='salary', columns=cols).ffill(1)
# Crete list of column names matching the expected output
out.columns = ['salary'] + [f'prevsalary{i}' for i in range(1,len(out.columns))]

print(out)
             salary  prevsalary1  prevsalary2  prevsalary3
employee_id                                                
1            50000.0      48000.0      48000.0      48000.0
2            80000.0      77000.0      75000.0      74000.0
3            60000.0      60000.0      60000.0      60000.0

现在，我们只需要加入原始数据帧中唯一的other列：

out = out.join(df.filter(like='other').groupby(df.employee_id).first())

print(out)

             salary    prevsalary1  prevsalary2  prevsalary3      other1  \
employee_id                                                               
1            50000.0      48000.0      48000.0      48000.0   somedata1   
2            80000.0      77000.0      75000.0      74000.0  somedata20   
3            60000.0      60000.0      60000.0      60000.0  somedata30   

                 other2      other3  
employee_id                          
1             somedata2   somedata3  
2            somedata21  somedata22  
3            somedata31  somedata32

Answer 2

首先旋转薪水表，然后与非薪水数据合并

# first create a copy of the dataset without the salary column
dataset_without_salaries = df.drop('salary', axis=1).drop_duplicates()
# pivot only salary column 
temp = pd.pivot_table(data=df[['salary']], index=df['employee_id'], aggfunc=list)
# expand the list
temp2 = temp.apply(lambda x: pd.Series(x['salary']), axis=1)
# merge the two together
final = pd.merge(temp2, dataset_without_salaries)

分组后如何将行转换为具有自定义名称的列？

2 个答案: