Question

我正在编写this coding challenge的Clojure实现，尝试以Fasta格式查找序列记录的平均长度：

>1
GATCGA
GTC
>2
GCA
>3
AAAAA

有关更多背景信息，请参阅此related StackOverflow post有关Erlang解决方案的信息。

我的初学者Clojure尝试使用lazy-seq尝试一次读取一个记录文件，因此它将扩展为大文件。然而，它是相当内存饥饿和缓慢，所以我怀疑它没有最佳实现。这是一个使用BioJava库来抽象解析记录的解决方案：

(import '(org.biojava.bio.seq.io SeqIOTools))
(use '[clojure.contrib.duck-streams :only (reader)])

(defn seq-lengths [seq-iter]
  "Produce a lazy collection of sequence lengths given a BioJava StreamReader"
  (lazy-seq
    (if (.hasNext seq-iter)
      (cons (.length (.nextSequence seq-iter)) (seq-lengths seq-iter)))))

(defn fasta-to-lengths [in-file seq-type]
  "Use BioJava to read a Fasta input file as a StreamReader of sequences"
  (seq-lengths (SeqIOTools/fileToBiojava "fasta" seq-type (reader in-file))))

(defn average [coll]
  (/ (reduce + coll) (count coll)))

(when *command-line-args*
  (println
    (average (apply fasta-to-lengths *command-line-args*))))

和没有外部库的等效方法：

(use '[clojure.contrib.duck-streams :only (read-lines)])

(defn seq-lengths [lines cur-length]
  "Retrieve lengths of sequences in the file using line lengths"
  (lazy-seq
    (let [cur-line (first lines)
          remain-lines (rest lines)]
      (if (= nil cur-line) [cur-length]
        (if (= \> (first cur-line))
          (cons cur-length (seq-lengths remain-lines 0))
          (seq-lengths remain-lines (+ cur-length (.length cur-line))))))))

(defn fasta-to-lengths-bland [in-file seq-type]
  ; pop off first item since it will be everything up to the first >
  (rest (seq-lengths (read-lines in-file) 0)))

(defn average [coll]
  (/ (reduce + coll) (count coll)))

(when *command-line-args*
  (println
    (average (apply fasta-to-lengths-bland *command-line-args*))))

对于大型文件，当前实现需要44秒，而Python实现则需要7秒。您能否提供有关加快代码速度并使其更直观的建议？ lazy-seq的用法是否按预期正确解析文件记录？

Answer 1

这可能无关紧要，但是average保持在长度seq的头部以下是完全未经测试但更懒惰的方式来做我认为你想要的。

(use 'clojure.java.io) ;' since 1.2

(defn lazy-avg [coll]
  (let [f (fn [[v c] val] [(+ v val) (inc c)])
        [sum cnt] (reduce f [0 0] coll)]
    (if (zero? cnt) 0 (/ sum cnt)))

(defn fasta-avg [f]
  (->> (reader f) 
    line-seq
    (filter #(not (.startsWith % ">")))
    (map #(.length %))
    lazy-avg))

Answer 2

你的average函数是非惰性的 - 它需要在保持头部的同时实现整个coll参数。 更新：刚刚意识到我的原始答案包括一个关于如何解决上述问题的荒谬建议......唉。幸运的是，ataggart发布了一个正确的解决方案。

除此之外，您的代码乍一看似乎很懒，但目前不鼓励使用read-lines（请改用line-seq）。

如果文件非常大并且您的函数将被调用很多次，请在seq-iter - seq-length的参数向量中键入提示^NameOfBiojavaSeqIterClass seq-iter，使用{{如果您使用的是Clojure 1.1，则代替#^可能会产生重大影响。事实上，^，然后编译您的代码并添加类型提示以删除所有反射警告。

改进clojure lazy-seq用于迭代文本解析

2 个答案: