作为并行复合上传，“ gsutil compose”和“ gsutil cp”有什么区别

Question

• gsutil compose和gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp bigfile gs://your-bucket有什么区别？
• gsutil compose仅在我们有许多较小的源文件时才起作用吗？
• 我们如何获得这些较小的文件？

Answer 1

撰写操作

  

compose命令创建一个新对象，其内容为   同一对象下给定序列的源对象的串联   桶。

gsutil compose gs://your-bucket/file1.txt  gs://your-bucket/file2.txt gs://your-bucket/file3.txt

上面的命令会将file1.txt和file2.txt的内容串联到file3.txt中。大文件也可以串联，尽管单个gsutil compose命令最多只能处理32个文件。您需要预先指定并拥有这些文件。有关here的更多信息。

并行复合上传

  

如果启用（请参见下文），则大文件将被拆分为组件   并行上传然后在云中组成的片段   （临时组件最终删除了）。最大尺寸   每个组成部分由变量确定   parallel_composite_upload_component_size。

gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp bigfile gs://your-bucket

上面的命令将bigfile分成多达32个片段，一旦上载，它们将被组成一个片段，并删除临时文件，类似于撰写操作。有关here的更多信息。

简而言之，第一个命令用于组成对象。后者将其拆分，上传片段，然后在Cloud Storage中进行组合。