Question

这是我在Julia平台中的代码，我想加快速度。无论如何，我可以使它更快吗？ 50k * 50k的数据集需要0.5秒。我原以为朱莉娅会比这快得多，否则我不确定我是否在做一个愚蠢的实现。

ar = [[1,2,3,4,5], [2,3,4,5,6,7,8], [4,7,8,9], [9,10], [2,3,4,5]]

SV = rand(10,5)

function h_score_0(ar ,SV)
    m = length(ar)
    SC = Array{Float64,2}(undef, size(SV, 2), m)
    for iter = 1:m
        nodes = ar[iter]
        for jj = 1:size(SV, 2)
            mx = maximum(SV[nodes, jj])
            mn = minimum(SV[nodes, jj])
            term1 = (mx - mn)^2;
            SC[jj, iter] = (term1);
        end
    end
    return score = sum(SC, dims = 1)
end

Answer 1

您的代码中有一些不必要的分配：

mx = maximum(SV[nodes, jj])
mn = minimum(SV[nodes, jj])

切片分配，因此每一行都会在此处复制数据，实际上，您实际上是在每行一次复制数据两次。您可以确保只复制一次，甚至可以做更好的复制：使用view，所以根本没有复制（请注意，在使用朱莉亚v1.5的情况下，view要快得多）较旧的版本）。

SC = Array{Float64,2}(undef, size(SV, 2), m)

也没有理由在此处创建矩阵，然后对其求和，只需在进行迭代时进行累加即可：

score[i] += (mx - mn)^2

在您输入的指定数据上，此功能在笔记本电脑上的速度是其> 5倍：

function h_score_1(ar, SV)
    score = zeros(eltype(SV), length(ar))
    @inbounds for i in eachindex(ar)
        nodes = ar[i]
        for j in axes(SV, 2)
            SVview = view(SV, nodes, j)
            mx = maximum(SVview)
            mn = minimum(SVview)
            score[i] += (mx - mn)^2
        end
    end
    return score
end

此函数输出一维矢量，而不是原始函数中的1xN矩阵。

原则上，如果我们更换，这可能会更快

mx = maximum(SVview)
mn = minimum(SVview)

使用

(mn, mx) = extrema(SVview)

只会遍历向量一次，而不是两次。不幸的是，extrema存在性能问题，因此目前不如单独的maximum/minimum调用那么快：https://github.com/JuliaLang/julia/issues/31442

最后，为了以简洁为代价绝对获得最佳性能，我们可以完全避免创建视图，并将对maximum和minimum的调用转换为单个显式循环遍历：

function h_score_2(ar, SV)
    score = zeros(eltype(SV), length(ar))
    @inbounds for i in eachindex(ar)
        nodes = ar[i]
        for j in axes(SV, 2)
            mx, mn = -Inf, +Inf
            for node in nodes
                x = SV[node, j]
                mx = ifelse(x > mx, x, mx)
                mn = ifelse(x < mn, x, mn)
            end
            score[i] += (mx - mn)^2
        end
    end
    return score
end

这也避免了extrema遇到的性能问题，并且每个节点查找一次SV元素。尽管编写此版本很烦人，但它的速度要快得多，即使在没有视图的Julia 1.5上也是如此。以下是一些测试数据的基准测试时间：

julia> using BenchmarkTools

julia> @btime h_score_0($ar, $SV)
  2.344 μs (52 allocations: 6.19 KiB)
1×5 Matrix{Float64}:
 1.95458  2.94592  2.79438  0.709745  1.85877

julia> @btime h_score_1($ar, $SV)
  392.035 ns (1 allocation: 128 bytes)
5-element Vector{Float64}:
 1.9545848011260765
 2.9459235098820167
 2.794383144368953
 0.7097448590904598
 1.8587691646610984

julia> @btime h_score_2($ar, $SV)
  118.243 ns (1 allocation: 128 bytes)
5-element Vector{Float64}:
 1.9545848011260765
 2.9459235098820167
 2.794383144368953
 0.7097448590904598
 1.8587691646610984

因此在这里明确地写出最内层的循环是值得的，这可以将时间减少三倍左右。令人讨厌的是，Julia编译器尚无法高效地生成代码，但每个版本的确变得更聪明。另一方面，显式循环版本将永远保持快速运行，因此，如果此代码确实对性能至关重要，则可能值得这样编写。

提高Julia中for循环的速度

1 个答案: