Question

在我的数据集中，我有许多连续和虚拟变量。对于使用glmnet进行分析，我希望连续变量是标准化的，而不是虚拟变量。

我目前通过首先定义一个只有[0,1]值的列的虚拟向量，然后在所有非虚拟列上使用scale命令来手动执行此操作。问题是，这不是很优雅。

但是glmnet有一个内置的standardize参数。默认情况下这会使假人标准化吗？如果是这样，是否有一种优雅的方式来告诉glmnet的standardize参数跳过假人？

Answer 1

简而言之，是的 - 这会使虚拟变量标准化，但这样做是有原因的。 glmnet函数将矩阵作为其X参数的输入，而不是数据框，因此它不会对factor列进行区分，如果参数是data.frame。如果您查看R函数，glmnet将standardize参数内部编码为

    isd = as.integer(standardize)

将R boolean转换为0或1整数以馈送到任何内部FORTRAN函数（elnet，lognet等等）

如果你进一步检查FORTRAN代码（固定宽度 - 旧学校！），你会看到以下块：

          subroutine standard1 (no,ni,x,y,w,isd,intr,ju,xm,xs,ym,ys,xv,jerr)    989
          real x(no,ni),y(no),w(no),xm(ni),xs(ni),xv(ni)                        989
          integer ju(ni)                                                        990
          real, dimension (:), allocatable :: v                                     
          allocate(v(1:no),stat=jerr)                                           993
          if(jerr.ne.0) return                                                  994
          w=w/sum(w)                                                            994
          v=sqrt(w)                                                             995
          if(intr .ne. 0)goto 10651                                             995
          ym=0.0                                                                995
          y=v*y                                                                 996
          ys=sqrt(dot_product(y,y)-dot_product(v,y)**2)                         996
          y=y/ys                                                                997
    10660 do 10661 j=1,ni                                                       997
          if(ju(j).eq.0)goto 10661                                              997
          xm(j)=0.0                                                             997
          x(:,j)=v*x(:,j)                                                       998
          xv(j)=dot_product(x(:,j),x(:,j))                                      999
          if(isd .eq. 0)goto 10681                                              999
          xbq=dot_product(v,x(:,j))**2                                          999
          vc=xv(j)-xbq                                                         1000
          xs(j)=sqrt(vc)                                                       1000
          x(:,j)=x(:,j)/xs(j)                                                  1000
          xv(j)=1.0+xbq/vc                                                     1001
          goto 10691                                                           1002

看看标记为1000的行 - 这基本上是将标准化公式应用于X矩阵。

现在从统计学上讲，人们通常不会对分类变量进行标准化，以保留估计回归量的可解释性。然而，正如Tibshirani here指出的那样，＃34;套索方法需要对回归量进行初步标准化，因此惩罚方案对所有回归者都是公平的。对于分类回归量，用虚拟变量对回归量进行编码，然后对虚拟变量进行标准化。 - 因此，虽然这导致连续变量和分类变量之间的任意缩放，但它是为了同等的惩罚处理。

Answer 2

glmnet对虚拟变量一无所知，因为它没有公式接口（因此不会触及model.frame和model.matrix。）如果你想要它们要特别对待，你必须自己做。

glmnet的standardize参数如何处理虚拟变量？

2 个答案: