多线性回归V / S Var-Covar矩阵系数的系数V / S方差的标准误差

Question

我正在理解回归系数的标准误差，并且我对每个术语的定义有所了解。

• 据我所知，标准误差的定义是估计的统计准确度的度量，等于大量此类估计的理论分布的标准差。
• 现在标准偏差是方差的平方根。因此，如果我们得到系数的方差，我们将得到标准误差。现在，我理解的系数的方差是V [b]，其中b是所有估计系数的矩阵，其中X是包括X0 = 1的因变量矩阵。
• 但是当我搜索Var [b]的等式时，我得到Var [b]的等式，说它实际上是Var-协方差矩阵，并且通过取平方根在该矩阵的诊断和标准误差中找到方差该矩阵的诊断。
• 这让我感到困惑，好像诊断是系数的方差，那么为什么方差 - 协方差矩阵被定义为V [b]？我假设我在理解这些术语时失去了某个地方。这里有什么帮助？我是stat的新手。请帮我详细说明。

Answer 1

在这个优秀的材料中找到了答案，它实际上解决了许多关于多元线性回归和假设起源的数学问题：https://web.stanford.edu/~mrosenfe/soc_meth_proj3/matrix_OLS_NYU_notes.pdf Page 8。回答我自己的问题：

• 将方差 - 协方差矩阵表示为V [b]可能会出错，因为它不是！必须将β^的方差协方差矩阵表示为E [（β - β）（β - β）]。

• 现在下面的公式是有道理的。 残差的变化逆（转置（X矩阵）％％X矩阵），其中残差的变化被定义为（剩余矩阵的转置％*％剩余矩阵）/（行数 - 列数） ）。

• 这清楚地表明，通过方差协方差矩阵的定义，该矩阵的诊断定义了每个系数的方差和平方根与标准误差相同，这只是标准误差。

  < / LI>