我们正在使用自动化脚本将数千个文件从MAPR HDFS上传到GCP存储。有时主存储桶中的文件带有后缀tmp~!@
,这会导致我们的管道失败。
示例:
gs://some_path/.pre-processing/file_name.gz.tmp~!@
我们使用rsync -m
,在某些情况下使用cp -I
some_file | gsutil -m cp -I '{GCP_DESTINATION}'
gsutil -m rsync {MAPR_SOURCE} '{GCP_DESTINATION}'
很可能复制尝试失败,后来又从另一台机器重试,最终,我们同时拥有该文件和另一个带有tmp~!@
后缀的文件
我想摆脱这些文件而不主动寻找它们。
我们有gsutil 4.33,感谢您的指导。谢谢