如何通过java或clojure解码bson

时间:2014-12-12 11:19:38

标签: java clojure bson

我想将BSON文件解码为Clojure地图。

这是我的代码:

(ns decode
  (:require [clojure.java.io :as cji])
  (:import [org.bson BasicBSONObject BasicBSONEncoder BasicBSONDecoder]))

(defonce encoder (BasicBSONEncoder.))

(defonce decoder (BasicBSONDecoder.))

(defn read-file [file-path]
  (with-open [reader (cji/input-stream file-path)]
    (let [length (.length (clojure.java.io/file file-path))
          buffer (byte-array length)]
      (.read reader buffer 0 length)
      buffer)))


(defn bson2map [^Byte b]
  (->> (.readObject decoder b) (.toMap) (into {})))

(defn read-bson
  [path]
 (clojure.walk/keywordize-keys (bson2map (read-file path))))

但是当我解码像这个(r/read-bson "test.bson")这样的BSON文件时,它只是对第一条记录进行解码,我想解码所有这些文件。 test.bson太大了。如何以片段解码?


然后我找到了一个名为LazyBSONDecoder的类,编写了一些java代码,它可以解码所有记录。

import org.bson.LazyBSONDecoder;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;

public class Main {

    public static void main(String[] args) throws IOException {
        InputStream in = new FileInputStream("./_Installation.bson");
        LazyBSONDecoder decoder = new LazyBSONDecoder();
        Object obj;
        int count = 0;
        try {
            do {
                obj = decoder.readObject(in);
                System.out.println(obj);
                count++;
            } while (obj != null);
        } catch (Exception e) {
            // ignore
        }
        System.out.println(count);
    }
}

所以我更改了Clojure代码替换了BasicBSONDecoder的{​​{1}},但它总是只解码第一条记录。

LazyBSONDecoder

1 个答案:

答案 0 :(得分:0)

请查看此代码LazyBSONDecoder

函数bson2map参数应该是inputStream而不是字节数组,如果它是字节数组,它将返回一个新的ByteArrayInputStream,所以我总是得到第一条记录。 / p>