在S3中将AWS数据库迁移服务(DMS)MongoDB转换为CSV

时间:2020-07-27 15:09:06

标签: mongodb amazon-web-services aws-dms

我需要使用AWS数据库迁移服务(DMS)在S3中将数据从MongoDB移到CSV。我可以使用表格模式在S3中导出为CSV并包含标题行,但是MongoDB文档中的嵌套数组将作为破坏CSV结构的字符串导出:

蒙哥:

{ "_id" : 1234,
  "dealershipName": "Bills",
   "cars": [
       {"year": 2013,
        "model": "MongoCar",
        "mechanicNotes": "Runs great!"},
       {"year": 1985,
        "model": "DMC-12",
        "mechanicNotes": "Great Scott!"}
 ]
}

S3中的CSV:

124,"Bills","[{"year":2013", .........}]",

谁能建议在保持CSV格式的同时,如何使用DMS将MongoDB文档中的嵌套数组导出为CSV(即,在CSV中没有将数组的字符串作为字段,而是分成多个字段-可能在单独的字段中) CSV))?

1 个答案:

答案 0 :(得分:0)

尚不支持。 AWS DMS没有将数组解析为单独的列和行的高级功能。 您应该使用其他一些ETL工具,例如

  1. Pentaho是开源的,您可以使用它来设置源(MongoDB)和目标(AWS S3)
  2. 如果您想使用AWS,请使用AWS Glue进行ETL和转换。
  3. 针迹数据ETL工具是最好的,只需单击几下即可。
相关问题