Clojure reducer - 有效地将函数应用于并行的两个向量

时间:2015-06-27 06:44:42

标签: clojure parallel-processing

将两个或多个大型向量组合在一起的最有效和最惯用的方法是什么?这就是我一直在做的事情。在我的应用程序中,我使用矩阵,因此每个操作比添加两个双精度要贵一些。使用range来驱动折叠感觉有点笨拙。

(require '[clojure.core.reducers :as r])

(def a (mapv (fn [_] (rand 100)) (range 100000)))
(def b (mapv (fn [_] (rand 100)) (range 100000)))
(r/foldcat (r/map #(+ (a %) (b %)) (range (count a))))

同时计算range可能最终成为多核CPU上最昂贵的位,因为它是唯一的非并行部分并涉及序列。

1 个答案:

答案 0 :(得分:0)

实际上看起来像Clojure 1.8有一个非常好的答案,使用map-index已经在Clojure 1.7中使用了该模式。

理想情况下,我希望map-index采用map这样的多个集合,但这样做。它看起来很像clojuresque,不像我在一个范围内的kludgy折叠。

(defn combine-with [op a-coll] (fn [i b-el] (op (a-coll i) b-el)))

(map-indexed (combine-with + a) b)

只需要等待1.8的表现:http://dev.clojure.org/jira/browse/CLJ-1553

以下是6核CPU的一些时序:

(def irange (vec (range (count a))))  ; precompute

(c/quick-bench (def ab (r/foldcat (r/map #(+ (a %) (b %)) irange))))
             Execution time mean : 1.426060 ms

(c/quick-bench (def abt (into [] (map-indexed (combine-with + a)) b)))
             Execution time mean : 9.931824 ms