gsutil copy，如何指定要复制的最大对象数？

Question

我需要在GCS中将文件从一个桶移动到另一个桶进行处理，每次我只需要复制和处理一定数量的文件，比如100，我该如何在命令行中配置它？

gsutil -m mv gs：//bucket1/file001.json gs：// bucket2 /

感谢您的帮助。

Answer 1

您可以编写一个脚本来构建要复制的所有对象的列表，然后一次遍历它们100个，一次调用一个gsutil mv。与运行gsutil -m mv相比，这会失去并行性，因此您可以在后台运行每个gsutil mv命令，然后等待所有100个完成，然后再继续下一批。