我有一个用例，我需要从S3存储桶中下载并处理大量（10个 4 ）的小文件（每个文件大小30KB）。
因为在本地下载所有这些文件似乎提供了非常低的吞吐量，我正在评估从S3获取“聚合”文件的方法。
我可以使用Lambda函数中的s3-dist-cp来执行此操作吗？在我下载之前，还有其他方法可以聚合这些文件吗？
答案 0 :(得分：2)
您可以呼叫具有aws s3 sync命令的AWS Command-Line Interface (CLI)。它并行复制文件，比编写自己的文件更简单。
请参阅：Running aws-cli Commands Inside An AWS Lambda Function - Alestic.com