Redshift COPY命令无法从S3加载数据

Question

当我们尝试从S3存储桶加载一个巨大的zip文件以从EC2实例甚至敏捷性进行红移时，我们遇到了错误。这到底是什么问题？

据我们检查，可能是由于VPC NACL规则引起的，但不确定。

  

错误：   错误：50000毫秒后连接超时

Answer 1

我认为您是正确的，这可能是因为存储桶访问规则或秘密/访问密钥。

如果上述方法不起作用，这里有一些进一步调试它的指针。

1. 创建一个小的zip文件，然后再试一次，如果它是由于大小引起的（但是我认为不可能）。

2. 将您的zip文件拆分为多个zip文件，并创建Manifest文件用于加载，而不是单个文件。

希望您会发现这很有用。

Answer 2

您应该创建一个IAM角色，以授权Amazon Redshift代表您访问其他AWS服务（例如S3），您必须将该角色与Amazon Redshift集群关联，然后才能使用该角色加载或卸载数据。

检查以下链接以设置IAM角色：

  

https://docs.aws.amazon.com/redshift/latest/mgmt/copy-unload-iam-role.html

Answer 3

当 Redshift 集群启用了增强型 VPC 路由但 S3 的路由表中没有路由时，我收到此错误。添加 S3 端点解决了该问题。 Link to docs.