将AWS Postgres RDS表导出到AWS S3

Question

我想使用AWS Data Pipeline将数据从Postgres RDS传输到AWS S3。有谁知道这是怎么做的。

更准确地说，我想使用数据管道系统将Postgres表导出到AWS S3。我使用Data Pipe Line的原因是我希望自动化这个过程，这个导出每周运行一次。

任何其他建议也会奏效。

Answer 1

github上有一个示例。 https://github.com/awslabs/data-pipeline-samples/tree/master/samples/RDStoS3

这是代码： https://github.com/awslabs/data-pipeline-samples/blob/master/samples/RDStoS3/RDStoS3Pipeline.json

Answer 2

我使用MySQL和文档作为参考，从头开始构建了一个Pipeline。

您需要具备相应的角色，DataPipelineDefaultResourceRole＆amp;＆amp; DataPipelineDefaultRole。

我还没有加载参数，因此，您需要进入架构并放置您的凭据和文件夹。

希望它有所帮助。

Range("$A$1:$D1").Autofilter Field:=4, Criteria1:="=0"

Answer 3

您可以在Data Pipeline界面中定义复制活动，以将Postgres RDS实例中的数据提取到S3中。

1. 创建SqlDataNode类型的数据节点。指定表名并选择查询。
2. 通过指定RDS实例ID（实例ID在您的URL中，例如your-instance-id.xxxxx.eu-west-1.rds.amazonaws.com）以及用户名，密码和数据库名称来设置数据库连接
3. 创建S3DataNode类型的数据节点。
4. 创建一个Copy活动并将SqlDataNode设置为输入，将S3DataNode设置为输出。

另一种选择是使用像Alooma这样的外部工具。 Alooma可以将表从PostgreSQL数据库托管的Amazon RDS复制到Amazon S3（https://www.alooma.com/integrations/postgresql/s3）。该过程可以自动化，您可以每周运行一次。

Answer 4

您现在可以在 postgres 本身中使用 aws_s3.query_export_to_s3 命令执行此操作 https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/postgresql-s3-export.html