如何在不耗尽内存的情况下将多页API数据保存到S3文件中?

时间:2019-03-18 06:24:18

标签: node.js amazon-s3

我有一个运行在AWS t2.xlarge服务器上的Node.js应用程序,该应用程序从API提取许多数据页(即特定日期的销售订单数据),然后将该数据保存到S3上的平面文件中。有时会有成千上万的数据页面,并且在服务完成从API中提取所有数据之前,它会耗尽内存并崩溃。

我应该一次拉一页,然后将数据保存到S3,然后追加下一页吗?甚至可以附加到现有的S3文件中吗?

0 个答案:

没有答案