我想使用boto3 Python脚本将数据加载到Amazon Redshift集群中。
我想使用boto3 python创建脚本来执行以下操作:
我在boto3中看到没有可用的方法将数据加载到集群中。也许来自平面文件或S3。
如何使用boto3或任何其他python包将数据加载到群集中?
答案 0 :(得分:1)
1。创建一个Amazon Redshift集群
调用create_cluster()
命令。
2。将数据加载到集群中
Amazon Redshift的运行方式类似于普通的PostgreSQL v8.0.2数据库。要在数据库本身上运行命令(包括COPY
命令),应建立与数据库的JDBC / ODBC连接。
请参阅:Connecting to an Amazon Redshift Cluster Using SQL Client Tools - Amazon Redshift
一种常见的方法是使用psycopg2
:
conn = psycopg2.connect(...)
cur = conn.cursor()
cur.execute("COPY...")
conn.commit()
请参阅:Copying data from S3 to AWS redshift using python and psycopg2
3。创建有关集群性能的报告
绩效报告有两种信息来源:
请参阅:Monitoring Amazon Redshift Cluster Performance - Amazon Redshift