流处理：在mem-constrained AWS Lambda中组合jsons并将写入流输出到S3

Question

在mem-constrained环境（AWS Lambda）中，我尝试执行以下操作：

• 从队列中读取jsons（AWS SQS）。目前还不知道队列中存在多少个jsons
• 因此事先不知道内容长度
• 每个json是一个对象数组
• 将这些jsons组合成一个大数组（基本上是连接数组）
• 将组合的json文件流式传输到S3，同时它仍在制作中。

这样做的目的是保持较低的内存使用量，即使整个输出文件最终可能是几GB。

虽然我很确定S3可以使用S3 Multipart Upload进行流式传输，但目前尚不清楚整个设置是否可行。任何指针，或流媒体库，高度赞赏管道。