用R求解非方形线性系统

时间:2013-11-04 08:01:44

标签: r math system linear-algebra numerical-computing

如何用R:A X = B

求解非方形线性系统

(在系统没有解决方案或无限多解决方案的情况下)

示例:

A=matrix(c(0,1,-2,3,5,-3,1,-2,5,-2,-1,1),3,4,T)
B=matrix(c(-17,28,11),3,1,T)

A
     [,1] [,2] [,3] [,4]
[1,]    0    1   -2    3
[2,]    5   -3    1   -2
[3,]    5   -2   -1    1


B
     [,1]
[1,]  -17
[2,]   28
[3,]   11

2 个答案:

答案 0 :(得分:10)

如果矩阵A的行数多于列数,则应使用最小二乘法。

如果矩阵A的行数少于列数,则应执行奇异值分解。每种算法都尽力使用假设为您提供解决方案。

这是一个链接,显示如何使用SVD作为解算器:

http://www.ecse.rpi.edu/~qji/CV/svd_review.pdf

让我们将它应用于您的问题并查看它是否有效:

您的输入矩阵A和已知的RHS向量B

> A=matrix(c(0,1,-2,3,5,-3,1,-2,5,-2,-1,1),3,4,T)
> B=matrix(c(-17,28,11),3,1,T)
> A
     [,1] [,2] [,3] [,4]
[1,]    0    1   -2    3
[2,]    5   -3    1   -2
[3,]    5   -2   -1    1
> B
     [,1]
[1,]  -17
[2,]   28
[3,]   11

让我们分解你的A矩阵:

> asvd = svd(A)
> asvd
$d
[1] 8.007081e+00 4.459446e+00 4.022656e-16

$u
           [,1]       [,2]       [,3]
[1,] -0.1295469 -0.8061540  0.5773503
[2,]  0.7629233  0.2908861  0.5773503
[3,]  0.6333764 -0.5152679 -0.5773503

$v
            [,1]       [,2]       [,3]
[1,]  0.87191556 -0.2515803 -0.1764323
[2,] -0.46022634 -0.1453716 -0.4694190
[3,]  0.04853711  0.5423235  0.6394484
[4,] -0.15999723 -0.7883272  0.5827720

> adiag = diag(1/asvd$d)
> adiag
          [,1]      [,2]        [,3]
[1,] 0.1248895 0.0000000 0.00000e+00
[2,] 0.0000000 0.2242431 0.00000e+00
[3,] 0.0000000 0.0000000 2.48592e+15

这是关键:d中的第三个特征值非常小;相反,adiag中的对角元素非常大。在求解之前,将其设置为零:

> adiag[3,3] = 0
> adiag
          [,1]      [,2] [,3]
[1,] 0.1248895 0.0000000    0
[2,] 0.0000000 0.2242431    0
[3,] 0.0000000 0.0000000    0

现在让我们计算解决方案(参见上面给出的链接中的幻灯片16):

> solution = asvd$v %*% adiag %*% t(asvd$u) %*% B
> solution
          [,1]
[1,]  2.411765
[2,] -2.282353
[3,]  2.152941
[4,] -3.470588

现在我们有了一个解决方案,让我们替换它,看看它是否给了我们相同的B

> check = A %*% solution
> check
     [,1]
[1,]  -17
[2,]   28
[3,]   11

这是你开始的B方,所以我认为我们很好。

这是来自AMS的另一个不错的SVD讨论:

http://www.ams.org/samplings/feature-column/fcarc-svd

答案 1 :(得分:2)

目标是解决 Ax = b

其中 A p q x q < em> 1 和 b 1 1 x x 给定 A b

  

方法1:广义逆:Moore-Penrose   https://en.wikipedia.org/wiki/Generalized_inverse

乘以等式的两边,我们得到

A&#39; Ax = A&#39; B'/强>

其中 A&#39; A 的转置。请注意,现在 q 矩阵 A&#39; A q 。现在解决这个问题的一种方法是将方程的两边乘以 A&#39; A 的倒数。这给了,

x =(A&#39; A)^ { - 1} A&#39; B'/强>

这是广义逆的背后的理论。这里 G =(A&#39; A)^ { - 1} A&#39; A 的伪逆。

library(MASS)

ginv(A) %*% B

#          [,1]
#[1,]  2.411765
#[2,] -2.282353
#[3,]  2.152941
#[4,] -3.470588
  

方法2:使用SVD的广义逆。

@duffymo使用SVD获得A的伪逆。

但是,svd(A)$d的最后一个元素可能不会像此示例中那么小。所以,可能不应该按原样使用该方法。这是 A 的最后一个元素都不接近零的示例。

A <- as.matrix(iris[11:13, -5])    
A
#   Sepal.Length Sepal.Width Petal.Length Petal.Width
# 11          5.4         3.7          1.5         0.2
# 12          4.8         3.4          1.6         0.2
# 13          4.8         3.0          1.4         0.1

svd(A)$d
# [1] 10.7820526  0.2630862  0.1677126

一种选择是在cor(A)

中看作奇异值
svd(cor(A))$d
# [1] 2.904194e+00 1.095806e+00 1.876146e-16 1.155796e-17

现在,很明显只存在两个大的奇异值。所以,现在可以在A上应用svd来获得伪逆,如下所示。

svda <- svd(A)
G = svda$v[, 1:2] %*% diag(1/svda$d[1:2]) %*% t(svda$u[, 1:2])
# to get x
G %*% B