Gsutil在存储桶中创建“ tmp”文件

时间:2019-07-21 08:33:49

标签: google-cloud-platform gsutil

我们正在使用自动化脚本将数千个文件从MAPR HDFS上传到GCP存储。有时主存储桶中的文件带有后缀tmp~!@,这会导致我们的管道失败。

  

示例:

     

gs://some_path/.pre-processing/file_name.gz.tmp~!@

我们使用rsync -m,在某些情况下使用cp -I

 some_file | gsutil -m cp -I '{GCP_DESTINATION}'

 gsutil -m rsync {MAPR_SOURCE} '{GCP_DESTINATION}'

很可能复制尝试失败,后来又从另一台机器重试,最终,我们同时拥有该文件和另一个带有tmp~!@后缀的文件

我想摆脱这些文件而不主动寻找它们。

我们有gsutil 4.33,感谢您的指导。谢谢

0 个答案:

没有答案