将数据从S3加载到PostgreSQL RDS

Question

我们计划在AWS环境中使用PostgreSQL RDS。 S3中有一些文件需要每周加载一次。我在AWS文档中没有看到任何可以将数据从S3加载到PostgreSQL RDS的选项。我觉得Aurora可能有用，但找不到PostgreSQL的任何东西。 任何帮助将不胜感激。

Answer 1

一种选择是使用AWS Data Pipeline。它本质上是一个JSON脚本，允许您在AWS上编排源之间的数据流。

AWS提供了一个模板，用于在S3和MySQL之间移动数据。你可以找到它here。您可以轻松地遵循此操作并将MySQL参数与与Postgres实例关联的参数进行交换。 Data Pipeline只是将RDS作为类型查找，并且不区分MySQL和Postgres实例。

Data Pipeline也支持

Scheduling，因此您可以自动执行每周文件传输。

开始这个：

• 转到AWS控制台中的Data Pipeline服务
• 从源
下选择“从模板构建”
• 选择“将S3加载到MySQL表”模板
• 填写其余字段并创建管道

从那里，您可以在控制台中监控管道的进度！