在R代码中编写Householder QR分解函数

时间:2016-10-04 10:28:33

标签: r matrix qr-decomposition

我正在编写一段代码来查找R中矩阵的QR分解。

X <- structure(c(0.8147, 0.9058, 0.127, 0.9134, 0.6324, 0.0975, 0.2785, 
0.5469, 0.9575, 0.9649, 0.1576, 0.9706, 0.9572, 0.4854, 0.8003
), .Dim = c(5L, 3L))


myqr <- function(A) {
  n <- nrow(A)
  p <- ncol(A)
  Q <- diag(n)
  Inp <- diag(nrow = n, ncol = p)

  for(k in c(1:ncol(A))) {
    # extract the kth column of the matrix
    col<-A[k:n,k]
    # calculation of the norm of the column in order to create the vector
    norm1<-sqrt(sum(col^2))
    # Define the sign positive if a1 > 0 (-) else a1 < 0(+)  
    sign <- ifelse(col[1] >= 0, -1, +1)  
    # Calculate of the vector a_r
    a_r <- col - sign * Inp[k:n,k] * norm1
    # beta = 2 / ||a-r||^2  
    beta <- 2 / sum(t(a_r) %*% a_r)
    # the next line of code calculates the matrix Q in every step
    Q <- Q - beta *Q %*% c(rep(0,k-1),a_r) %*% t(c(rep(0,k-1),a_r))    
    # calculates the matrix R in each step
    A[k:n,k:p] <- A[k:n,k:p] - beta * a_r %*% t(a_r) %*% A[k:n,k:p]
    }

  list(Q=Q,R=A)
  }

但是,在这里,我没有在每个步骤中计算表示住户反映的矩阵H,我也没有在每一步中计算矩阵A

作为H = I - 2 v v',如果我乘以Q,我获得

QH = Q - 2 (Qv) v'    // multiplication on the left
HQ = Q - 2 v (Q'v)'    // multiplication on the right

现在,这项操作应该在每一步都有效。但是,如果我考虑第一个矩阵H和第二个矩阵H1 ......这些矩阵将比第一个矩阵小。为了避免我使用下一行代码:

 Q <- Q - beta * Q %*% c(rep(0,k-1),a_r) %*% t(c(rep(0,k-1),a_r))

但是,当我在每一步生成带有零的a_r个条目的新向量k时,我不确定为什么代码运行良好。

1 个答案:

答案 0 :(得分:2)

我认为你想要与qr.default返回的完全相同的输出,它使用紧凑的QR存储。但后来我意识到你要分别存储QR因素。

通常,QR分解仅形成R但不形成Q。在下文中,我将描述两者都形成的QR分解。对于那些对QR分解缺乏基本了解的人,请先阅读:lm(): What is qraux returned by QR decomposition in LINPACK / LAPACK,其中有精心设计的数学公式。在下文中,我将假设知道Householder反射是什么以及如何计算它。

QR分解程序

首先,一个Householder异教传染媒介是H = I - beta * v v'(其中beta的计算方式与你的代码一样),而不是H = I - 2 * v v'

然后,QR分解A = Q R继续(Hp ... H2 H1) A = R,其中Q = H1 H2 ... Hp。要计算Q,我们初始化Q = I(单位矩阵),然后在循环中迭代地乘以Hk。为了计算R,我们在循环中迭代地初始化R = A并乘以Hk

现在,在第k次迭代,我们在QA上有排名-1矩阵更新

Q := Q Hk = Q (I - beta v * v') = Q - (Q v) (beta v)'
A := Hk A = (I - beta v * v') A = A - (beta v) (A' v)'

v = c(rep(0, k-1), a_r),其中a_r是完整反射向量的简化非零部分。

你所拥有的代码是以残酷的力量进行更新:

Q <- Q - beta * Q %*% c(rep(0,k-1), a_r) %*% t(c(rep(0,k-1),a_r))

首先填充a_r以获得全反射向量并对整个矩阵执行秩-1更新。但实际上我们可以放弃那些零并写(如果不清楚的话,做一些矩阵代数):

Q[,k:n] <- Q[,k:n] - tcrossprod(Q[, k:n] %*% a_r, beta * a_r)
A[k:n,k:p] <- A[k:n,k:p] - tcrossprod(beta * a_r, crossprod(A[k:n,k:p], a_r))

这样只会更新QA的一小部分。

对您的代码的其他几条评论

  • 您经常使用t()"%*%"!但几乎所有这些都可以由crossprod()tcrossprod()替换。这消除了显式转置t(),并且内存效率更高;
  • 您初始化另一个对角矩阵Inp,这是不必要的。要获得户主反射向量a_r,您可以替换

    sign <- ifelse(col[1] >= 0, -1, +1)
    a_r <- col - sign * Inp[k:n,k] * norm1
    

    通过

    a_r <- col; a_r[1] <- a_r[1] + sign(a_r[1]) * norm1
    

    其中sign是R基函数。

QR分解的R代码

## QR factorization: A = Q %*% R
## if `complete = FALSE` (default), return thin `Q`, `R` factor
## if `complete = TRUE`, return full `Q`, `R` factor

myqr <- function (A, complete = FALSE) {

  n <- nrow(A)
  p <- ncol(A)
  Q <- diag(n)

  for(k in 1:p) {
    # extract the kth column of the matrix
    col <- A[k:n,k]
    # calculation of the norm of the column in order to create the vector r
    norm1 <- sqrt(drop(crossprod(col)))
    # Calculate of the reflection vector a-r
    a_r <- col; a_r[1] <- a_r[1] + sign(a_r[1]) * norm1
    # beta = 2 / ||a-r||^2  
    beta <- 2 / drop(crossprod(a_r))
    # update matrix Q (trailing matrix only) by Householder reflection
    Q[,k:n] <- Q[,k:n] - tcrossprod(Q[, k:n] %*% a_r, beta * a_r)
    # update matrix A (trailing matrix only) by Householder reflection
    A[k:n, k:p] <- A[k:n, k:p] - tcrossprod(beta * a_r, crossprod(A[k:n,k:p], a_r))
    }

  if (complete) {
     A[lower.tri(A)] <- 0
     return(list(Q = Q, R = A))
     }
  else {
    R <- A[1:p, ]; R[lower.tri(R)] <- 0
    return(list(Q = Q[,1:p], R = R))
    }
  }

现在让我们进行测试:

X <- structure(c(0.8147, 0.9058, 0.127, 0.9134, 0.6324, 0.0975, 0.2785, 
0.5469, 0.9575, 0.9649, 0.1576, 0.9706, 0.9572, 0.4854, 0.8003
), .Dim = c(5L, 3L))

#       [,1]   [,2]   [,3]
#[1,] 0.8147 0.0975 0.1576
#[2,] 0.9058 0.2785 0.9706
#[3,] 0.1270 0.5469 0.9572
#[4,] 0.9134 0.9575 0.4854
#[5,] 0.6324 0.9649 0.8003

首先是瘦QR版本:

## thin QR factorization
myqr(X)

#$Q
#            [,1]       [,2]        [,3]
#[1,] -0.49266686 -0.4806678  0.17795345
#[2,] -0.54775702 -0.3583492 -0.57774357
#[3,] -0.07679967  0.4754320 -0.63432053
#[4,] -0.55235290  0.3390549  0.48084552
#[5,] -0.38242607  0.5473120  0.03114461
#
#$R
#          [,1]       [,2]       [,3]
#[1,] -1.653653 -1.1404679 -1.2569776
#[2,]  0.000000  0.9660949  0.6341076
#[3,]  0.000000  0.0000000 -0.8815566

现在完整的QR版本:

## full QR factorization
myqr(X, complete = TRUE)

#$Q
#            [,1]       [,2]        [,3]       [,4]       [,5]
#[1,] -0.49266686 -0.4806678  0.17795345 -0.6014653 -0.3644308
#[2,] -0.54775702 -0.3583492 -0.57774357  0.3760348  0.3104164
#[3,] -0.07679967  0.4754320 -0.63432053 -0.1497075 -0.5859107
#[4,] -0.55235290  0.3390549  0.48084552  0.5071050 -0.3026221
#[5,] -0.38242607  0.5473120  0.03114461 -0.4661217  0.5796209
#
#$R
#          [,1]       [,2]       [,3]
#[1,] -1.653653 -1.1404679 -1.2569776
#[2,]  0.000000  0.9660949  0.6341076
#[3,]  0.000000  0.0000000 -0.8815566
#[4,]  0.000000  0.0000000  0.0000000
#[5,]  0.000000  0.0000000  0.0000000

现在让我们检查qr.default返回的标准结果:

QR <- qr.default(X)

## thin R factor
qr.R(QR)
#          [,1]       [,2]       [,3]
#[1,] -1.653653 -1.1404679 -1.2569776
#[2,]  0.000000  0.9660949  0.6341076
#[3,]  0.000000  0.0000000 -0.8815566

## thin Q factor
qr.Q(QR)
#            [,1]       [,2]        [,3]
#[1,] -0.49266686 -0.4806678  0.17795345
#[2,] -0.54775702 -0.3583492 -0.57774357
#[3,] -0.07679967  0.4754320 -0.63432053
#[4,] -0.55235290  0.3390549  0.48084552
#[5,] -0.38242607  0.5473120  0.03114461

## full Q factor
qr.Q(QR, complete = TRUE)
#            [,1]       [,2]        [,3]       [,4]       [,5]
#[1,] -0.49266686 -0.4806678  0.17795345 -0.6014653 -0.3644308
#[2,] -0.54775702 -0.3583492 -0.57774357  0.3760348  0.3104164
#[3,] -0.07679967  0.4754320 -0.63432053 -0.1497075 -0.5859107
#[4,] -0.55235290  0.3390549  0.48084552  0.5071050 -0.3026221
#[5,] -0.38242607  0.5473120  0.03114461 -0.4661217  0.5796209

所以我们的结果是正确的!