如何在clojure中按部分生成一个懒惰的序列?

时间:2017-11-01 06:46:24

标签: jdbc clojure lazy-loading lazy-sequences

我有一个数据库服务器,我从中获取数据。有时数据有数百万行甚至更多,所以我使用懒惰进行下载。我使用clojure.jdbc库https://funcool.github.io/clojure.jdbc/latest/#cursor-queries中的服务器端游标来懒惰地获取数据。

现在我遇到了问题。我需要从延迟序列生成初始500个元素,然后程序必须等待10分钟才能获得一个信号,该信号向程序生成下一个500个元素,依此类推,直到我从服务器接收所有数据。但如果报告没有到达10分钟,程序必须关闭连接。

我写了样本:

(def lazyseq_maps (atom {:seq_1 {:next_500 false :data nil} :seq_2 {:next_500 false :data nil}})) ; here is a collection of all unfinished lazy sequences waiting for signal to continue produce elements

(jdbc/atomic conn
 (with-open [cursor (jdbc/fetch-lazy conn sql]
   (let [lazyseq (jdbc/cursor->lazyseq cursor)]
     (swap! lazyseq_maps assoc seq_id {:next_500 true :data nil})
     (loop [lazyseq_rest lazyseq
            count 1]
            (if (:next_500 (seq_id @lazyseq_maps))
              (do
                (swap! lazyseq_maps update-in [seq_id :data] conj (first lazyseq_rest))
                (when (= 0 (mod count 500))
                  (swap! lazyseq_maps assoc-in [seq_id :next_500] false))
                (recur (rest lazyseq) (inc count)))
              ;
              (func-for-waiting-signal)))) ; here I don`t know how to create function waiting signal to continue fetching data
   (seq_id @lazyseq_maps)))

你能帮助我解决问题的方法吗?我假设我应该使用core.async为循环创建通道。我对吗?如果我收到适当的信号,我应该如何创建停止执行循环10分钟或继续执行的功能?

1 个答案:

答案 0 :(得分:1)

确实你应该使用core.async,它们有timeout通道用于超时目的,而alt!你可以“等待”从任意数量的通道中弹出一个值。完整的代码虽然有点复杂。输出行将“推送”到输出通道。

据我所知with-open,懒惰的序列不能很好地组合,因为光标会过早关闭。但我不熟悉clojure.jdbc库。