Question

希望使用mongoimport将csv文件中的数百万条记录导入到mongodb时获取以下格式的文档，该命令需要用于获取此格式。请帮忙。谢谢。

    "_id" : {
            "X_id" : 1,
            "y_id" : 2,
            "z_id" : 3
    },
    "name" : "test",
    "allow" : 1,
    "date1" : ISODate("2012-12-31T17:31:02.981Z"),
    "date2" : ISODate("2012-12-31T17:31:02.981Z")

}

Answer 1

mongoimport工具仅用于从CSV / TSV / JSON文本文件直接导入。对于更复杂/自定义的转换，您需要使用supported language drivers之一的MongoDB以您喜欢的编程语言创建自己的导入脚本。

如果要导入数百万条记录，可以采用以下几种方法加快导入：

使用MongoDB bulk inserts上传从CSV读取的批量行（即不是在每行读取后插入）
使用面向流的CSV解析库（一些天真的CSV解析器可以尝试将整个文件读入内存）
使用多个线程来解析和处理传入的CSV;一种简单的方法可能是将CSV拆分为多个较小的文件并执行并行导入

使用mongoimport时mongodb中的文档格式

1 个答案: