我需要在Google云存储中保存几千个文件。是否有 gsutil ls 命令返回的文件数量限制?
如果我没有错,AWS S3服务的每个请求都会显示几千个条目的限制。如果我需要列出下一批,我需要使用API或使用一些复杂的sript。
我想知道在使用gsutil命令行工具时是否存在任何此类限制。我可以自己检查一下,但是我必须上传数千个虚拟文件!
答案 0 :(得分:4)
gsutil ls命令通过存储桶列表分页 - 每个底层GET返回有限数量的结果(通常为1000),gsutil将继续遍历所有批次,直到它列出存储桶中的所有对象。
请注意,如果您计划构建大量对象(例如,数十万或数百万),我们建议您不要依赖于使用存储列表来跟踪对象,而是维护自己的元数据(例如,在列出所有对象名称和相关细节的数据库中)。
迈克施瓦茨, Google云端存储团队