将嵌套的JSON批量加载到MongoDB中的引用集合中

时间:2018-02-22 20:51:04

标签: mongodb

我正在寻求将大量嵌套JSON对象导入MongoDB数据库。 certain circumstances下的常见做法是使用referenced collections而不是directly embedded documents来表示这些关系。

这是一个具体的例子。假设我有以下格式的数十亿GB的JSON,其中children偶尔会有数千个对象长,并且每个对象都有几十个键。

{
    "a" : 1,
    "b" : 2,
    "children" : [
       {
         "x": "some long, complicated thing",
         "y": [5, 6],
         "huge_image": "..."
       },
       {
         "x": "some other complicated thing",
         "y": [1, 2, 3],
         "huge_image": "..."
       },
       ...          
    ]
}

我可能希望将其导入为两个集合parentschildren,这似乎很简单。 (事实上​​,如果孩子们是非常大的文件,例如媒体,我可能不得不这样做。)然而,我找不到任何关于如何有效地将现有嵌套数据作为多个集合导入MongoDB的信息。

mongoimport只需要一个collection参数。当然可以将数据导入到一个集合中,然后从第一个集合中手动构建第二个集合并修改第一个集合中的每个条目,但这似乎既费力又低效,对于肯定必须是常见问题。

我在这里找不到什么东西?

0 个答案:

没有答案