Question

尝试使用apply-split-combine pandas转换。随着apply函数需要在多列上操作的扭曲。我似乎无法使用pd.transform使其工作，必须通过pd.apply间接进行。有办法吗

import pandas as pd
import numpy as np

df = pd.DataFrame({'Date':[1,1,1,2,2,2],'col1':[1,2,3,4,5,6],'col2':[1,2,3,4,5,6]})
col1 = 'col1'
col2 = 'col2'
def calc(dfg):
    nparray = np.array(dfg[col1])
    somecalc = np.array(dfg[col2])
    # do something with somecalc that helps caculate result
    return(nparray - nparray.mean()) #just some dummy data, the function does a complicated calculation

#===> results in: KeyError: 'col1'
df['colnew'] = df.groupby('Date')[col1].transform(calc)

#===> results in: ValueError: could not broadcast input array from shape (9) into shape (9,16) or TypeError: cannot concatenate a non-NDFrame object
df['colnew'] = df.groupby('Date').transform(calc)

#===> this works but feels unnecessary 
def applycalc(df):
    df['colnew'] = calc(df)
    return(df)

df = df.groupby('Date').apply(applycalc)

This post是我找到的最接近的。我宁愿不将所有列作为单独的参数传递，除了存在groupby操作的事实。

编辑：请注意，我并不是真的想要计算nparray - nparray.mean()这只是一个虚拟计算。它做了一些复杂的事情，它返回一个形状(group_length,1)的数组。另外，我想将colnew存储为原始数据框中的新列。

Answer 1

您可以通过然后减去而不是一次性进行分组：

In [11]: df["col1"] - df.groupby('Date')["col1"].transform("mean")
Out[11]:
0   -1
1    0
2    1
3   -1
4    0
5    1
dtype: int64

在这种情况下，您不能使用transform，因为该函数返回多个值/ array / series：

In [21]: def calc2(dfg):
             return dfg["col1"] - dfg["col1"].mean()

In [22]: df.groupby('Date', as_index=True).apply(calc2)
Out[22]:
Date
1     0   -1
      1    0
      2    1
2     3   -1
      4    0
      5    1
Name: col1, dtype: float64

请注意，返回一个系列很重要，或者它不会对齐：

In [23]: df.groupby('Date').apply(calc)
Out[23]:
Date
1    [-1.0, 0.0, 1.0]
2    [-1.0, 0.0, 1.0]
dtype: object

Python pandas groupby转换/应用函数在多列上运行

1 个答案: