我的计算机上的本地 Postgres数据库中有大量数据。 我需要对本地数据库中存在的数据进行非规范化,并获取特定格式的查询集,该查询集可以直接使用 Python 直接加载到Redshift表中。
我确实有一些查询,可以在本地数据库上运行,并获得特定格式的查询集,需要将其直接加载到 Redshift 。
但是有太多数据需要从本地转移到 Redshift 。就目前而言,我能想到的唯一更好的方法是将获取的查询集导出到 .csv 文件中,该文件将上传到 S3存储桶中,该文件将直接复制使用Python进入Redshift表。
我只是想知道是否还有其他方法可以做到这一点。直接从 Postgres数据库流到 AWS Redshift
请让我知道上传和转储 .csv 是更好的方法还是有其他有效的方法来实现这一目标。
答案 0 :(得分:2)
您可能拥有的另一个更好的选择是使用AWS DMS(数据库迁移服务)。
请参阅:Using a PostgreSQL Database as a Source for AWS DMS - AWS Database Migration Service