回归分析与无效的回归量

时间:2018-04-06 07:58:56

标签: statistics regression prediction

我试图使用一些解释变量来预测变量,每个变量都没有视觉上可检测的关系,即每个回归量和预测变量之间的散点图都是完全平坦的云。

我采取了两种方法:

1)运行个人回归,根本不会产生显着的关系。

2)一旦我使用多变量回归的多个组合,我就会得到一些组合的显着关系(虽然它们不稳健,也就是说,变量在一个设置中很重要并且在不同的设置中失去重要性)。

我想知道,如果基于1),即在个人基础上似乎根本没有任何关系的事实,我可以得出结论,多变量的一个注定也会失​​败吗?

1 个答案:

答案 0 :(得分:1)

答案肯定是保证失败。事实上,您已经在#2中观察到了这种情况,您可以在多预测器设置中获得重要预测值

1个预测变量与1个结果之间的回归相当于协方差或两个变量之间的相关性。这是您在散点图中观察到的关系。

具有多个预测变量(多元回归)的回归具有相当不同的解释。假设您有一个类似的模型:Y = b0 + b1X1 + b2X2

b1被解释为X1Y 持有X2常量之间的关系。也就是说,您正在控制X2在此模型中的效果。这是多元回归的一个非常重要的特征。

要查看此信息,请运行以下模型:

  1. Y = b0 + b1X1
  2. Y = b0 + b1X1 + b2X2
  3. 您会看到两种情况下b1的值都不同。 b1值之间的差异程度取决于X1X2

    之间协方差/相关性的大小

    仅仅因为2个变量之间的直接相关性不显着并不意味着一旦你控制其他预测因子的影响,这种关系就不会显着了

    这一点在#2中的稳健性示例中突出显示。为什么预测变量在某些模型中显着,而在使用另一个预测变量子集时则不显着?正是因为您在各种模型中控制不同变量的影响。

    您选择控制哪些其他变量,以及最终选择使用哪种特定回归模型,取决于您的目标。