为什么从glmnet模型中获取回归系数的统计汇总信息是不可取的？

Question

我有一个带二元结果的回归模型。我用glmnet拟合模型并得到选定的变量及其系数。

由于glmnet不计算变量重要性，我想将精确输出（选定变量及其系数）提供给glm以获取信息（标准误差等）。

我搜索了r文件，似乎我可以在glm中使用“method”选项来指定用户定义的函数。 但我没有这样做，有人可以帮助我吗？

Answer 1

  

“要求标准的回归错误是一个非常自然的问题   系数或其他估计量。原则上这样的标准   可以容易地计算错误，例如使用引导程序。

     

但是，这个软件包故意不提供它们。的原因   这是标准错误对强烈而言没有多大意义   有偏见的估计，例如由惩罚的估计方法产生。   惩罚估计是一种减少方差的程序   通过引入实质性偏见来估算。每个估算器的偏差   因此，它是其均方误差的主要组成部分，而它的   方差可能只占很小的一部分。

     

不幸的是，在大多数惩罚性回归的应用中都是如此   不可能获得足够精确的偏差估计。任何   基于bootstrap的计算只能给出一个评估   估计的方差。只有可靠的偏见估计   如果有可靠的无偏估计，则可用   通常情况并非在处罚估计的情况下   使用

     

因此，报告惩罚估计的标准误差   只是故事的一部分。它可能给人一种错误的印象   精确，完全忽略了偏差造成的不准确。它   做出信任陈述肯定是错误的   基于对估计方差的评估，例如   基于bootstrap的置信区间。“

Jelle Goeman, Ph.D. Leiden University, Author of the Penalized package in R.

Answer 2

CRAN包hdi和selectiveInference提供高维模型的推断，你可能想看看那些...... 我也看到人们只使用glm选择的预测变量运行glmnet，但这并未考虑最佳模型本身选择过程产生的不确定性......