我的数据包含客户购买历史记录以及每个订单的相应销售价值。我希望随着时间的推移,每个客户的费用都会有某种趋势。我考虑了每个客户的回归并随后提取系数。这是否可以以有效的方式处理大熊猫(我在数据中得到了~1000000个事务)?如果是的话,我该怎么做?
为了更好地理解这里是数据的结构。
Date Customer_ID Sales_Value
2014-07-01 1 62.946002
2014-12-01 2 62.947733
2013-05-01 3 27.328221
2015-01-01 1 30.023658
这将是具有在这种情况下不需要的其他几列的事务数据的结构。不幸的是,数据是按月计算的,因此对于日期,您将只有这种格式:20xx-xx-01
我现在想要的是一个数组,它为我提供了每个客户在我对事务数据的整个时间间隔内基于Sales_Value的回归系数。所以基本上是这样的:
Customer_ID trend_coeff
1 -0,5
2 0
3 0
(trend_coeff的数字当然仅用于演示)
感谢您的帮助!
答案 0 :(得分:2)
假设您从这样的事情开始:
import pandas as pd
df = pd.DataFrame({
'a': [1, 2, 3, 1, 2, 3, 1, 2, 3],
'b': range(9),
'c': range(1, 10)})
>>> df
a b c
0 1 0 1
1 2 1 2
2 3 2 3
3 1 3 4
4 2 4 5
5 3 5 6
6 1 6 7
7 2 7 8
8 3 8 9
要对'b'
的每个值执行'c'
和'a'
之间的线性回归,您可以这样做:
from sklearn import linear_model
def find_for_a(g):
p = linear_model.LinearRegression().fit(g.b.values[:, None], g.c.values)
return pd.Series({'coef': p.coef_[0], 'intercept': p.intercept_})
>>> df.groupby('a').apply(find_for_a)
coef intercept
a
1 1.0 1.0
2 1.0 1.0
3 1.0 1.0