如何从s3中的不同文件夹附加多个csv文件

Question

我在S3的不同子目录下有许多csv文件。 我尝试将所有数据附加到一个csv文件中。

是否可以使用s3或其他AWS服务附加所有文件？

谢谢

Answer 1

如果结果csv不是很大（小于几个Gb），则可以使用AWS Lambda遍历S3中的所有子目录（键）并写入结果文件（例如再次写入S3）。

您也可以使用AWS Glue进行此操作，但我没有使用它。

在两种情况下，您都应该编写一些脚本来加入文件。