如何仅将更新的文件/文件夹从AWS S3存储桶复制到本地计算机？

Question

我需要将某些文件从S3存储桶复制到本地计算机。以下是我需要注意的重点：

• 根据日期文件夹将文件保存在S3存储桶中。
• 文件的扩展名为csv.gz，我需要将其更改为csv并将其复制到本地计算机上。
• 它会随时更新，我只需要复制新文件并进行处理。处理后的文件无需再次复制。

我尝试使用同步文件夹，但是在处理了文件之后，文件名被重命名，并且csv.gz文件再次与本地文件夹同步。

我正计划使用一些预定任务来完成任务。

Answer 1

Amazon S3是一项存储服务。它无法为您“处理”文件。

如果您希望更改文件的内容（例如，从.csv.gz转换为.csv），则需要在本地计算机上自行完成。

通过AWS Command-Line Interface (CLI) aws s3 sync命令，可以轻松地复制自上一个sync起已更改/添加的文件。但是，如果要在本地更改文件（解压缩），则可能需要编写自己的程序以从Amazon S3下载。

有适用于流行编程语言的AWS开发工具包。您还可以进行网络搜索以查找使用Amazon S3的示例代码。