我想使用python boto3脚本将数据加载到Amazon Redshift集群中

时间:2019-07-14 22:12:32

标签: python amazon-web-services amazon-redshift boto3

我想使用boto3 Python脚本将数据加载到Amazon Redshift集群中。

我想使用boto3 python创建脚本来执行以下操作:

  1. 创建集群
  2. 将数据加载到集群中
  3. 创建有关集群性能的报告

我在boto3中看到没有可用的方法将数据加载到集群中。也许来自平面文件或S3。

如何使用boto3或任何其他python包将数据加载到群集中?

1 个答案:

答案 0 :(得分:1)

1。创建一个Amazon Redshift集群

调用create_cluster()命令。

2。将数据加载到集群中

Amazon Redshift的运行方式类似于普通的PostgreSQL v8.0.2数据库。要在数据库本身上运行命令(包括COPY命令),应建立与数据库的JDBC / ODBC连接。

请参阅:Connecting to an Amazon Redshift Cluster Using SQL Client Tools - Amazon Redshift

一种常见的方法是使用psycopg2

conn = psycopg2.connect(...)
cur = conn.cursor()
cur.execute("COPY...")
conn.commit()

请参阅:Copying data from S3 to AWS redshift using python and psycopg2

3。创建有关集群性能的报告

绩效报告有两种信息来源:

请参阅:Monitoring Amazon Redshift Cluster Performance - Amazon Redshift