通过Lambda超时使用mongo进行批量插入,并将数据插入3次

时间:2018-06-25 20:44:18

标签: mongodb aws-lambda

我们需要将数据从S3插入mongo。我们编写了一个Lambda函数,该函数仅从S3(JSON文件)中读取文件,而使用Mongoose只需执行InsertMany。当我们执行这个lambda时。我们的mongodb插入大约需要7到10分钟才能获得10K记录。我需要以下帮助

  • 改进了mongo插入,因此我们可以在5分钟内插入20k条记录,以避免lambda超时

我已经在使用Ordered:False来加快在mongo中的插入

1 个答案:

答案 0 :(得分:0)

使用本机mongoDB客户端而不是Mongoose可以解决此问题。似乎InsertMany在本地mongoDB上比在mongoose上表现更好