从AWS S3转移到Google-Cloud-Storage“UNKNOWN”失败

Question

我正在使用GCS网络信息中心/控制台中提供的转移工具来安排从S3到GCS的备份文件副本。

在GCS传输日志中，它显示“未知:(显示241个故障中的5个）”。该故障列表中显示的文件没有任何不同。每次计划的转移都会失败相同的241个文件。有什么地方我可以收到实际的错误消息吗？

我已经查过：

• 在这些失败之前和之后成功复制了超过150万个其他文件。即这些失败不在转移清单的开头或结尾，也不是连续的。
• 文件大小不是太大。失败传输的大小范围从100KB到7MB。
• 文件名允许使用特殊字符，例如_ - 空格，这些字符存在于失败的传输和成功传输中。
• 失败的文件与成功传输的文件具有完全相同的权限。
• 传输中使用的IAM用户的策略将所有操作授予S3存储桶。
• 使用相同的访问令牌和s3cmd的秘密确认IAM策略。
• 检查S3访问日志以获取更多信息/错误...显示成功传输和传输失败的http 206状态。 （不是我预期的http状态，但成功和失败的传输也是如此）

Answer 1

有一些事情可能导致UNKNOWN错误。有些是服务中的暂时性问题（在这种情况下，您应该重新运行转移 - 仅第二次复制新的/更改的对象。）

在其他情况下，它可能是源对象中的怪癖。例如，服务将拒绝没有符合RFC 1341的Content-Type的对象。特别是，它需要匹配模式 / ，以及其他限制。见What are all the possible values for HTTP "Content-Type" header?