提取AWS S3存储桶中特定文件夹内的链接

时间:2020-03-16 01:34:04

标签: amazon-web-services amazon-s3 command-line

我正在尝试获取我的AWS S3 API来列出存储在S3存储桶中的对象。我已成功使用以下代码从S3存储桶中提取了一些链接。

aws s3api list-objects --bucket my-bucket --query Contents[].[Key] --output text

问题是我的命令提示符中的输出未列出整个S3存储桶清单。是否可以更改此代码,以便CLI上的输出列出完整清单?如果不是,是否有办法将代码更改为以S3存储桶中的特定文件名为目标?例如,我的存储桶中的所有文件名都是日期,因此我会尝试从“ my-bucket”存储桶中名为3_15_20视频的文件中拉出所有链接。提前致谢!

1 个答案:

答案 0 :(得分:0)

来自list-objects — AWS CLI Command Reference

list-objects是分页操作。可以发出多个API调用,以检索结果的整个数据集。您可以通过提供--no-paginate参数来禁用分页。

因此,请尝试使用--no-paginate并查看它是否返回所有对象。

如果您定期列出包含大量对象的存储桶,则也可以考虑使用Amazon S3 Inventory,它可以提供每日CSV文件,列出存储桶的内容。