我有以下df,其中包含有关客户,事件日和花费的信息: pandas dataframe
重现df的代码:
d = {'CLIENT': ['John', 'Jonas', 'Mary', 'Anne', 'John', 'Jonas', 'Mary','John', 'Mary'],'SPENT': [30, 400, 800, 90, 180, 560, 50, 200, 100],'DAY_EVENT': ['WED', 'SAT', 'SUN', 'MON', 'FRI', 'WED', 'THU', 'FRI', 'SUN']}
df = pd.DataFrame(data=d)
我首先使用以下聚合选项制作了df.groupby
:
df_cli = df.groupby('CLIENT').agg({'SPENT': [np.size, np.sum, np.mean]}).reset_index()
这让我想到了这个: pandas groupby dataframe
我想确定客户的首选天数和最不喜欢的天数,但我不知道如何将此变量作为groupby
函数的变量,所以我尝试了另一个groupby
} df:
df_cli_day = df.groupby(['CLIENT','DAY_EVENT']).agg({'SPENT':[np.size, np.sum, np.mean]}).reset_index(level=1)
然后我有这个: another pandas groupby dataframe
我尝试过这个定义函数,然后将它们应用到数据帧,如下所示:
def preferred_day(row):
cli = df_cli['CLIENT'][row]
clidays = df_cli_day.loc[cli]
return clidays['DAY_EVENT'].max()
def least_preferred_day(row):
cli = df_cli['CLIENT'][row]
clidays = df_cli_day.loc[cli]
return clidays['DAY_EVENT'].min()
df_cli['preferred_day'] = df_cli.apply(lambda row: preferred_day(row), axis=1)
提出以下内容:
ValueError: ('cannot index with vector containing NA / NaN values', 'occurred at index 0')
由于我的函数在被调用时起作用,我通过循环并将结果附加到列表,然后将它们转换为系列,最后将它们分配给df中的列来解决,如下面的代码所示:
preferred_list = []
least_preferred_list = []
for i in range(df_cli['CLIENT'].size):
preferred_list.append(preferred_day(i))
least_preferred_list.append(least_preferred_day(i))
prefered_day_s = pd.Series(preferred_list)
least_preferred_day_s = pd.Series(least_preferred_list)
df_cli['preferred_day'] = preferred_day_s
df_cli['least_preferred_day'] = least_preferred_day_s
这样可以得到我想要的结果,但它很慢。
我需要一种方法来在使用df.apply
时摆脱ValueError,或者以其他方式更快地获得相同的结果。
答案 0 :(得分:1)
首先,ValueError
正在发生,因为row
在传递给您的函数时是Series
。这是apply
的工作方式(参见the docs)。您似乎期望row
是一个数字索引,这是不正确的。永远不必在您传递给apply
您使用第二个groupby
走在正确的轨道上,但更快的方法是分两个阶段进行分组,如下所示:
def most_frequent_day(group):
''' Return most frequent DAY_EVENT occurrence for group. '''
return group['DAY_EVENT'].value_counts().apply(['max', 'idxmax'])
df.groupby('CLIENT').apply(most_frequent_day)
将apply
与groupby
一起使用,为每个客户端调用一次函数most_frequent_day
,其中包含该客户端原始数据框中的条目子集。对于每个子集,您可以简单地找到DAY_EVENT的最高频率。这将返回结果:
DAY_EVENT max idxmax
CLIENT
Anne 1 MON
John 2 FRI
Jonas 1 SAT
Mary 2 SUN