环回 - 批量插入有大量记录

Question

当批量插入大量记录时，我当前遇到内存使用问题。我试图从外部API中获取数据，格式化为与我的某个表的结构匹配的数组，然后在我的模型上使用create方法插入它。是否有一种环回方式来排队记录以便插入（以便它们可以插入块中）所以我不会杀死我的服务器？如果没有时间计时器，那就太好了。

如果重要的话，Postgres是我的后端数据库。

Answer 1

您插入了多少列？你有没有为其中任何一个添加索引？如果您正在进行任何upsert，索引可以将更新从几分钟加速到几秒钟。

如果瓶颈是节点服务器，外部api是否支持分页？如果是这样，您可以一次插入一个页面并等待数据库的响应，然后再插入下一页数据。