如何有效地将数据从Postgres传输到Amazon Redshift?

时间:2019-10-09 20:40:00

标签: python postgresql amazon-web-services amazon-redshift

我的计算机上的本地 Postgres数据库中有大量数据。 我需要对本地数据库中存在的数据进行非规范化,并获取特定格式的查询集,该查询集可以直接使用 Python 直接加载到Redshift表中。

我确实有一些查询,可以在本地数据库上运行,并获得特定格式的查询集,需要将其直接加载到 Redshift

但是有太多数据需要从本地转移到 Redshift 。就目前而言,我能想到的唯一更好的方法是将获取的查询集导出到 .csv 文件中,该文件将上传到 S3存储桶中,该文件将直接复制使用Python进入Redshift表。

我只是想知道是否还有其他方法可以做到这一点。直接从 Postgres数据库流到 AWS Redshift

请让我知道上传和转储 .csv 是更好的方法还是有其他有效的方法来实现这一目标。

1 个答案:

答案 0 :(得分:2)

您可能拥有的另一个更好的选择是使用AWS DMS(数据库迁移服务)。

请参阅:Using a PostgreSQL Database as a Source for AWS DMS - AWS Database Migration Service