我在计算引擎上运行gsutil cp,将1.5TB的文件(每个2-150MB)从S3传输到GCS。我发现复制扼流圈有多个“太多可恢复的上传尝试失败而没有进展。你可能会在以后再次尝试上传。” (ABORT_CUR_PROCESS)错误。 .gsutil目录开始填写失败的传输。这种情况不会持续发生,但通常在转移首次启动时会发生。过了一会儿,gsutil就会中止。
我正在使用的命令行是:
gsutil cp -c -L ~/S3.log -R s3://<bucket>/<folder> gs://<bucket>/ > /dev/null 2>&1 &
我最初尝试使用'-m'但是,看到错误消息后,我尝试在没有'-m'的情况下运行它。我还尝试在不同文件夹之间运行两个并行传输,记录到不同的日志文件。
我正在使用f1-micro,这可能不够用,但在尝试设置新实例之前,我想确认一下。 CPU使用率约为50%,交换文件大小为0k,因此我不认为问题是CPU或内存资源不足。网络流量大约为1MBytes / s输入和输出,这出乎意料地很慢,但据我所知,所有Compute Engine实例的可用带宽都是相同的。顺便提一下,CE和CS都在美国中部地区,但S3桶在爱尔兰。
您可以分享哪些见解?