是否可以使用python boto包使用批量复制命令加载redshift。我没有办法做到这一点

Question

是否可以使用python boto包使用批量复制命令加载redshift。我没有办法做到这一点。看来JDBC客户端是必要的。

Answer 1

不，boto不用于将数据加载到Amazon Redshift。

可以从

将数据加载到 Amazon Redshift 中

• 亚马逊S3：非常适合批量，并行加载。可以加载压缩数据。
• 远程主机：将远程文件复制到Amazon S3以进行加载。
• Amazon DynamoDB：直接从DynamoDB表加载数据。
• 通过SQL查询，例如INSERT和UPDATE（但这些效率较低）。

python boto包提供对AWS API的访问。这些可以与Redshift一起使用来创建，快照，重新启动，描述和调整群集（以及其他命令）。

但是，将数据加载到Redshift中的过程（例如通过Amazon S3）是通过正常的ODBC或JDBC连接调用的COPY命令完成的 - 就像调用SELECT命令一样：

copy <table_name>
from 's3://<bucket_name>/<object_prefix>'
credentials 'aws_access_key_id=<access-key-id>;aws_secret_access_key=<secret-access-key>';

但是，您可以使用标准Python JDBC库连接到Redshift并执行COPY命令来批量加载数据。

另见：

• Loading Data from an Amazon DynamoDB Table
• Redshift API reference