MongoDB导入CSV忽略错误

Question

是否可以使用 mongoimport 将数据从CSV导入mongoDB，但在解析csv行时忽略任何错误？ 我有一个大约有2亿行的csv文件，其中一些格式不正确，每次修复/尝试都需要花费很多时间。

Answer 1

使用--parseGrace skipRow选项。

mongoimport --type csv --parseGrace skipRow --file millionrecords.csv --headerline

  

- parseGrace grace

     

默认值：停止

     

版本3.4中的新功能。

     

指定mongoimport在何时处理类型强制失败的方式   使用 - columnsHaveTypes 导入CSV或TSV文件。

     

- 导入JSON文档时，parseGrace无效。

     

  
• autoCast ：根据字段值指定类型。例如，如果字段定义为double，则为该值   字段是＆＃34; foo＆＃34;，mongoimport会使该字段值成为字符串   类型。
  
• skipField ：对于要导入的行，mongoimport不包含类型与预期类型不匹配的字段。
  
• skipRow ：mongoimport不会导入包含类型与预期类型不匹配的值的行。
  
• 停止：mongoimport返回一个结束导入的错误。