Question

我可以访问一些投注数据。即30.000个不同用户的历史投注建议以及他们的结果和原始赔率。

鉴于来自用户的新投注建议，我想预测投注成真的概率。

我将从一个非常简单的二项式模型开始

P(bet = success | user = u and odds = o) = exp(1/o + b_u) / (1 + exp(1/o + b_u) )

因此，由投注站点确定的概率中的logit概率截距（1 /赔率）并且具有来自用户的累加效应，因此我最终得到30.000个参数。

我打算在python或R中使用逻辑回归来估计参数。在python中使用patsy（在创建设计矩阵中）或在R中使用glm我会遇到内存问题。有没有人建议如何解决这个问题？

Answer 1

以下是我理解您的问题的方法。您有一个包含350万投注的数据集，来自30000个用户。每次下注都有一个明确的结果（用户下注的内容）和实际结果。您想要预测所述结果和实际结果是否相同，即用户是否获胜。

所以你有（至少）2个预测变量：投注站点给出的赔率和用户ID，后者是30000级别的因素。您可以将数据表示为350万x 3数据框：win，odds和user。然后使用glmnet拟合弹性网模型，因为你有~30k的回归系数，某种形式的正则化可能不是一个坏主意。

第一个问题是创建适合模型的模型矩阵会扼杀大量的内存。幸运的是，glmnet为您提供了使用稀疏模型矩阵的选项，因此只需要大量但仍然合理的内存量。

第二个问题是至少在R中，即使你有足够的内存，创建模型矩阵可能比模拟本身需要更多的时间。

您可以使用glmnetUtils包来解决这些问题。 glmnetUtils是glmnet的一个shell，使建模更容易;它支持公式接口，并简化了像这样的宽数据集的处理。特别是，它克服了上面提到的R内置模型矩阵功能的限制。

示例代码：

library(glmnetUtils)

# build an example data frame
# response is win
# predictors are real_logodds (ie, as offered by betting company) and user ID
set.seed(34567)
df <- local({
    nbets <- 3.5e6
    nusers <- 30000
    user <- sample(nusers, size=nbets, replace=TRUE)
    real_logodds <- rlogis(nbets)
    b_user <- rnorm(nusers, sd=0.1)
    user_logodds <- b_user[user] + real_logodds
    outcome <- rbinom(nbets, size=1, prob=plogis(real_logodds))
    bet <- rbinom(nbets, size=1, prob=plogis(user_logodds))
    win <- outcome == bet
    data.frame(win, outcome, bet, user=factor(user), real_logodds)
})

system.time(mod <- glmnet(win ~ real_logodds + user, data=df, family="binomial",
                          sparse=TRUE))
#   user  system elapsed 
#  30.77    1.19   30.94 

mod
# Call:
# glmnet.formula(formula = win ~ real_logodds + user, data = df, 
#     family = "binomial", sparse = TRUE)
#
# Model fitting options:
#     Sparse model matrix: TRUE
#     Use model.frame: FALSE
#     Alpha: 1
#     Lambda summary:
#       Min.   1st Qu.    Median      Mean   3rd Qu.      Max. 
# 2.032e-05 5.528e-05 1.503e-04 2.792e-04 4.086e-04 1.110e-03 


system.time(cvmod <- cv.glmnet(win ~ real_logodds + user, data=df, family="binomial",
                               sparse=TRUE))
#    user  system elapsed 
#  373.60   26.82  388.58 

cvmod
# Call:
# cv.glmnet.formula(formula = win ~ real_logodds + user, data = df, 
#     family = "binomial", sparse = TRUE)
#
# Model fitting options:
#     Sparse model matrix: TRUE
#     Use model.frame: FALSE
#     Number of crossvalidation folds: 10
#     Alpha: 1
#     Deviance-minimizing lambda: 0.0007649709  (+1 SE): 0.001109842

在这里，我生成一个样本数据框，其中包含问题中给出的维度。然后我拟合一个正则化的逻辑回归，大约需要30秒。我也做10倍交叉验证来选择弹性净收缩参数，大约需要6分钟。

披露：我是glmnetUtils的作者。

带有大量参数的Logistic回归

1 个答案: