使用AWS Data Pipeline将数据从PostgreSQL复制到S3

Question

我正在尝试将所有表从架构（PostgreSQL，50多个表）复制到Amazon S3。

做到这一点的最佳方法是什么？我能够创建50个不同的复制活动，但是有没有一种简单的方法可以复制架构中的所有表或编写一个管道并循环？

Answer 1

我认为旧方法是：

 1. Unload your data from PostgreSQL to a CSV file first using something like psql  
 2. Then just copy the csv to S3

但是，AWS为您提供了一个脚本，RDSToS3CopyActivity请参阅this来自AWS的链接

Answer 2

由于您有大量的表。与AWS Data Pipeline相比，我建议使用AWS Glue。 Glue具有爬网程序等，可以轻松配置，使您可以灵活地选择列，定义等。此外，AWS Glue中的基础作业是pyspark作业，可以很好地扩展，从而为您提供非常好的性能。