Question

我正在为具有特定因子变量的glm模型拟合，该数据不包含我要应用模型的数据中该变量具有的所有级别的数据。未知的级别可以忽略不计，因此无论模型为它们预测了什么，只要它在训练和应用程序数据中将级别视为相同时，我就不在乎。

由于在应用程序数据中未知的因子水平会产生错误，因此我搜索了一种解决方法，并在此处找到了@matt_k提供的一种解决方法： "Factor has new levels" error for variable I'm not using

现在添加新级别仍然会发出警告消息：

In predict.lm(object, newdata, se.fit, scale = 1, type = ifelse(type == :
prediction from a rank-deficient fit may be misleading

所以我想找出到底发生了什么。我已经在一个非常简单的示例中进行了尝试，使用6在mpg模型中省略了圆柱mtcars级别：

mtcars$cyl <- as.factor(mtcars$cyl)
model <- glm(formula = mpg ~ cyl, data = mtcars[mtcars$cyl !=6,])
model$xlevels[["cyl"]] <- union(model$xlevels[["cyl"]], levels(mtcars$cyl))
mtcars$preds <- predict(model, newdata = mtcars)
head(mtcars,15)

给我：

                    mpg cyl  disp  hp drat    wt  qsec vs am gear carb    preds
Mazda RX4          21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4 26.66364
Mazda RX4 Wag      21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4 26.66364
Datsun 710         22.8   4 108.0  93 3.85 2.320 18.61  1  1    4    1 26.66364
Hornet 4 Drive     21.4   6 258.0 110 3.08 3.215 19.44  1  0    3    1 26.66364
Hornet Sportabout  18.7   8 360.0 175 3.15 3.440 17.02  0  0    3    2 15.10000
Valiant            18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1 26.66364
Duster 360         14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4 15.10000
Merc 240D          24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2 26.66364
Merc 230           22.8   4 140.8  95 3.92 3.150 22.90  1  0    4    2 26.66364
Merc 280           19.2   6 167.6 123 3.92 3.440 18.30  1  0    4    4 26.66364
Merc 280C          17.8   6 167.6 123 3.92 3.440 18.90  1  0    4    4 26.66364
Merc 450SE         16.4   8 275.8 180 3.07 4.070 17.40  0  0    3    3 15.10000
Merc 450SL         17.3   8 275.8 180 3.07 3.730 17.60  0  0    3    3 15.10000
Merc 450SLC        15.2   8 275.8 180 3.07 3.780 18.00  0  0    3    3 15.10000
Cadillac Fleetwood 10.4   8 472.0 205 2.93 5.250 17.98  0  0    3    4 15.10000

对我来说，该模型似乎只是从另一个因子级别中选择系数（在这种情况下，cyl = 4的系数是对cyl = 6的预测）。既然这对我来说绝对没问题，那么如果有人可以确认这确实是事实，我将不胜感激。

Answer 1

让我们首先查看部分数据集summary(model)的模型系数

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)   26.664      1.068  24.966  < 2e-16 ***
cyl8         -11.564      1.427  -8.102 3.45e-08 ***

cyl8的预测等于截距+ cyl8的效果，因此26.664 + -11.564 = 15.10。对于其他因子水平（cyl4），预测等于截距（26.664）。添加未知的因子水平将产生相同的预测，因为R没有附加因子效应的基础（这些均未包含在原始模型中）。我们可以看到，通过对完整数据进行模型估计，不会影响已知因子的估计。

model2<- glm(formula = mpg ~ cyl, data = mtcars)
summary(model2)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  26.6636     0.9718  27.437  < 2e-16 ***
cyl6         -6.9208     1.5583  -4.441 0.000119 ***
cyl8        -11.5636     1.2986  -8.905 8.57e-10 ***

您会看到cyl8和参考类别cyl4的估计效果没有变化（分别为15.10和26.66）。这样，该模型将针对这些因子水平得出相同的预测。但是，从新估算的系数可以看出，cyl6的预测被高估了6.92。

训练后添加未知因子水平的glm模型有什么作用？

1 个答案: