将大数据输入MongoDB

时间:2017-06-20 04:21:41

标签: python mongodb csv bigdata

我在向MongoDB输入大量数据时遇到了问题(使用Python)。

我将数据本地存储为CSV文件,目前正在使用:

call(["mongoimport", "-h", "mongo_address", "-d", "db_name", "-c", "col_name", "--type", "csv", "--file", file_name, "--headerline"])

但是,数据输入时间太长,太长。 数据大小约为50列* 12,000,000行 Mongo进度条列出了超过20亿个任务

  

进展:x / 2359887055 Y%

是否有更快的方式将数据导入数据库?

谢谢!

0 个答案:

没有答案