Question

我有一个包含30个独立变量的数据集，我尝试使用regress函数在MATLAB R2010b中执行线性回归。

我收到一条警告，说明我的矩阵X is rank deficient to within machine precision。

现在，执行此功能后得到的系数与实验系数不匹配。

任何人都可以建议我如何对这个包含30个变量的方程进行回归分析？

Answer 1

根据我们的讨论，您收到警告的原因是因为您拥有所谓的underdetermined system。基本上，您有一组约束，其中您要解决的变量多于可用的数据。欠定系统的一个例子是：

x + y + z = 1
x + y + 2z = 3

(x,y,z)有无数种组合可以解决上述系统问题。例如，(x, y, z) = (1, −2, 2), (2, −3, 2), and (3, −4, 2)。在你的情况下，等级缺陷意味着更多比一组回归系数更能满足控制方程，这些方程将描述输入变量和输出观察之间的关系。这可能是regress的输出与您的地面实况回归系数不匹配的原因。虽然答案不一样，但要知道输出一个可能的答案。通过regress与您的数据一起运行，如果我将观察矩阵定义为X并且您的输出向量为Y，这就是我得到的结果：

>> format long g;
>> B = regress(Y, X);
>> B

B =

                         0
                         0
          28321.7264417536
                         0
          35241.9719076362
          899.386999172398
         -95491.6154990829
         -2879.96318251964
         -31375.7038251919
          5993.52959752106
                         0
          18312.6649115112
                         0
                         0
           8031.4391233753
          27923.2569044728
          7716.51932560781
         -13621.1638587172
          36721.8387047613
          80622.0849069525
         -114048.707780113
         -70838.6034825939
         -22843.7931997405
          5345.06937207617
                         0
          106542.307940305
         -14178.0346010715
         -20506.8096166108
         -2498.51437396558
           6783.3107243113

你可以看到七回归系数等于0，相当于30 - 23 = 7.我们有30个变量和23个约束可供使用。请注意，这不是唯一可能的解决方案。 regress基本上计算最小平方误差解决方案，使得Y - X*B的残差总和具有最小的误差量。这基本上简化为：

B = X^(*)*Y

X^(*)就是所谓的矩阵pseudo-inverse。 MATLAB有这个，它被称为pinv。因此，如果我们这样做：

B = pinv(X)*Y

我们得到：

B =

          44741.6923363563
           32972.479220139
         -31055.2846404536
         -22897.9685877566
          28888.7558524005
          1146.70695371731
         -4002.86163441217
           9161.6908044046
         -22704.9986509788
          5526.10730457192
          9161.69080479427
          2607.08283489226
          2591.21062004404
         -31631.9969765197
         -5357.85253691504
          6025.47661106009
          5519.89341411127
         -7356.00479046122
         -15411.5144034056
          49827.6984426955
         -26352.0537850382
         -11144.2988973666
         -14835.9087945295
         -121.889618144655
         -32355.2405829636
          53712.1245333841
         -1941.40823106236
         -10929.3953469692
         -3817.40117809984
          2732.64066796307

您看到没有零系数，因为pinv使用L2范数找到解决方案，这促使错误“扩散”（缺少更好的术语）。您可以通过执行以下操作验证这些是正确的回归系数：

>> Y2 = X*B

Y2 =

      16.1491563400241
      16.1264219600856
       16.525331600049
      17.3170318001845
      16.7481541301999
      17.3266932502295
      16.5465094100486
      16.5184456100487
      16.8428701100165
      17.0749421099829
      16.7393450000517
      17.2993993099419
      17.3925811702017
      17.3347117202356
      17.3362798302375
      17.3184486799219
      17.1169638102517
      17.2813552099096
      16.8792925100727
      17.2557945601102
       17.501873690151
      17.6490477001922
      17.7733493802508

同样，如果我们使用regress的回归系数，那么B = regress(Y,X);然后执行Y2 = X*B，我们得到：

Y2 =

      16.1491563399927
      16.1264219599996
      16.5253315999987
      17.3170317999969
      16.7481541299967
      17.3266932499992
      16.5465094099978
      16.5184456099983
      16.8428701099975
      17.0749421099985
      16.7393449999981
      17.2993993099983
      17.3925811699993
      17.3347117199991
      17.3362798299967
      17.3184486799987
      17.1169638100025
       17.281355209999
      16.8792925099983
      17.2557945599979
      17.5018736899983
      17.6490476999977
      17.7733493799981

有一些轻微的计算差异，这是可以预料的。同样，我们也可以使用mldivide：

找到答案

B = X \ Y

B =

                         0
                         0
           28321.726441712
                         0
          35241.9719075889
          899.386999170666
         -95491.6154989513
         -2879.96318251572
         -31375.7038251485
          5993.52959751295
                         0
          18312.6649114859
                         0
                         0
          8031.43912336425
          27923.2569044349
          7716.51932559712
         -13621.1638586983
          36721.8387047123
          80622.0849068411
         -114048.707779954
         -70838.6034824987
         -22843.7931997086
          5345.06937206919
                         0
          106542.307940158
         -14178.0346010521
         -20506.8096165825
         -2498.51437396236
          6783.31072430201

你可以看到，这与regress给你的好奇心相符。那是因为\是一个更聪明的运营商。根据矩阵的结构，它可以通过不同的方法找到系统的解决方案。我想推荐你到Amro的帖子，讨论在检查正在操作的输入矩阵的属性时mldivide使用什么算法：

How to implement Matlab's mldivide (a.k.a. the backslash operator "\")

你应该从这个答案中得到的结论是，你当然可以继续使用这些回归系数，他们会或多或少地为Y的每个值提供预期的输出，每组输入为{ {1}}。但是，请注意，这些系数不唯一。这很明显，因为你说你的地面实况系数与X的输出不匹配。它不匹配，因为它生成另一个答案，满足您提供的约束。

如果您有一个未确定的系统，可以用不止一个答案来描述这种关系，正如您在上面显示的实验中看到的那样。

在MATLAB中使用回归函数时获得排名不足的警告

1 个答案: