如何将数据从AWS Aurora Postgres DB导出到Redshift？

Question

我在 AWS Aurora 上托管了一个 Postgres数据库，我需要从中检索数据并将其插入 Redshift 。

我当前的方法如下：

1. 使用 Psycopg2 创建 Aurora数据库连接。
2. 通过上面创建的 Aurora 连接，查询 Aurora数据库表，并将结果集作为 CSV 文件导出到 S3 strong>使用OUTFILE
3. 使用 Psycopg2 从 S3 ， Redshift 连接。

我正在尝试通过删除 S3 服务并将 Aurora 直接连接到 Redshift 来优化此功能。

这是我想做的找不到资源的事情：

查询 Aurora 表-table1，并将结果集直接导出到 Redshift 表-table1中。

我什至不确定当前系统是否可行。有什么想法吗？

Answer 1

有两种方法可以将数据获取到Amazon Redshift数据库中：

• COPY命令从Amazon S3加载
• INSERT语句以插入作为SQL语句一部分提供的数据

建议使用COPY方法进行常规数据加载。它跨切片并行运行，并在附加数据后尽可能有效地存储数据。

对于{em>少量的插入，INSERT命令是可接受的，但是对于插入大量行不是一个好主意。如有可能，一次插入多行。使用INSERT ... SELECT语句是可以接受的，它可以在一个操作中插入来自不同表的批量数据。

因此，从操作中删除Amazon S3的唯一方法是将数据编码到INSERT语句中，但这不是加载数据的最佳方法。