以下几行代码出现在优化包中的levenberg-marquardt算法中" Optim":
DtD = diagm(Float64[max(x, MIN_DIAGONAL) for x in sum(J.^2,1)])
delta_x = ( J'*J + sqrt(lambda)*DtD ) \ -J'*fcur
但是,我的问题与算法或包的任何特定内容无关。我想这与基础茱莉亚的线性代数和因子分解更有关。
如果我有一个完整的矩阵J,则以下工作:
In [3]: n = 5
J = rand(n,n)
fcur = rand(n)
DtD = diagm(Float64[max(x, 1e-6) for x in sum(J.^2,1)])
( J'*J + sqrt(100)*DtD ) \ -J'*fcur
Out [3]: 5-element Array{Float64,1}:
-0.0740316
-0.0643279
-0.0665033
-0.10568
-0.0599613
但是,如果J稀疏,我会收到错误:
In [4]: J = sparse(J)
DtD = diagm(Float64[max(x, 1e-6) for x in sum(J.^2,1)])
( J'*J + sqrt(100)*DtD ) \ -J'*fcur
Out [4]: ERROR: `A_ldiv_B!` has no method matching A_ldiv_B!(::Cholesky{Float64}, ::SparseMatrixCSC{Float64,Int64})
while loading In[4], in expression starting on line 3
in \ at linalg/generic.jl:233
据我所知(由于我对julia作为初学者的知识有限),出现此错误是因为julia首先尝试计算( J'*J + sqrt(100)*DtD ) \ -J'
。 我的第一个问题是,我如何知道julia在实施上述代码时采取的路径?我知道@which
但我不知道如何使用它来实现A_ldiv_B!因为这应该从\(A,B)
开始,然后以某种方式结束A_ldiv_B! :
In [6]: a = ( J'*J + sqrt(100)*DtD ); b = -J'; @which a\b
Out [6]: \(A::Union(SubArray{T,2,A<:DenseArray{T,N},I<:(Union(Range{Int64},Int64)...,)},DenseArray{T,2}),B::Union(SubArray{T,2,A<:DenseArray{T,N},I<:(Union(Range{Int64},Int64)...,)},SubArray{T,1,A<:DenseArray{T,N},I<:(Union(Range{Int64},Int64)...,)},DenseArray{T,2},DenseArray{T,1})) at linalg/dense.jl:409
另请注意:
In [7]: typeof(a)
Out [7]: Array{Float64,2}
In [8]: typeof(b)
Out [8]: Array{Float64,2}
这使得这更令人困惑,因为上面没有Cholesky类型。 我的第二个问题是:Cholesky类型是如何出现的?错误消息显示:A_ldiv_B!
没有匹配A_ldiv_B的方法!(: Cholesky {Float64} , :: SparseMatrixCSC {Float64,Int64类型})
我偶然发现的另一个有趣的观点是,如果稀疏矩阵的大小为(2,2),则不会出现上述错误:
In [9]: n = 2
J = sparse(rand(n,n))
fcur = rand(n)
DtD = diagm(Float64[max(x, 1e-6) for x in sum(J.^2,1)])
( J'*J + sqrt(100)*DtD ) \ -J'*fcur
Out [9]: 2-element Array{Float64,1}:
-0.0397989
-0.052129
最后,我可以通过将-J'*fcur
放在parantheses中来解决这个问题,这似乎是作者的意图。但我很困惑。任何想法都非常感谢。谢谢!
In [12]: n = 5
J = sparse(rand(n,n))
fcur = rand(n)
DtD = diagm(Float64[max(x, 1e-6) for x in sum(J.^2,1)])
( J'*J + sqrt(100)*DtD ) \ (-J'*fcur)
Out [12]: 5-element Array{Float64,1}:
-0.0536266
-0.0692286
-0.0673166
-0.0616349
-0.0559813
答案 0 :(得分:1)
如果您遇到在解析过程中使用替换的代码时,确切地确定采用哪个代码路径可能有点棘手,就像'
的情况一样。你可以试试
julia> ( J'*J + sqrt(100)*DtD ) \ -J'fcur
看到另一个替代发生。
我不知道这是否真的是你问题的答案,但我会注意到你的例子有三个方面。
(( J'*J + sqrt(100)*DtD ) \ ctranspose(-J))*fcur
我们还没有在求解中实现稀疏的右侧,因为即使b
中的Ax=b
稀疏,通常结果也不稀疏,因此利用稀疏性获得的收益b
是适度的。
&#34;对&#34;解决问题的方法是在(-Jfcur)
附近添加括号,因为那时解是稀疏矩阵 - 向量乘法和稀疏矩阵 - 向量求解而不是稀疏矩阵 - 矩阵求解和密集矩阵 - 向量乘法。 / p>