从S3存储桶下载最后N个项目

时间:2016-12-20 08:53:27

标签: amazon-web-services amazon-s3 aws-sdk

我想从S3存储桶中下载最后N个项目,我认为应该使用--page-size

来自AWS documentation

  

- page-size(整数)每个响应列表操作返回的结果数。默认值为1000(允许的最大值)。如果操作超时,则使用较低的值可能会有所帮助。

在这里,当我尝试获得15个项目时,有我的命令:

aws s3 sync s3://mybucket/mydirectory . --page-size 15

但是,我检索了所有项目。

我使用--page-size错了吗?

我怎样才能获得最后N个项目?

由于

1 个答案:

答案 0 :(得分:0)

--page-size是指在发送到S3 API的每个列表对象请求中从S3请求的项目数...但是aws-cli将继续发送更多对象的请求,直到S3报告结束列表已经到达。

此选项可能仅适用于奇怪的网络问题,您需要返回的每组项目都很小。它会增加成本,因为会发送更多请求,并且会因为需要更多往返而减慢流程,但对aws s3 sync最终将要执行的实际工作没有影响。

此外,对象列表没有" last" - 对象始终按词汇顺序排序,从最低到最高(即ASCII 0-9,A-Z,a-z ......更确切地说,以utf-8字节顺序排列)。