将数据从Redshift复制到MySQL / PSQL

时间:2016-01-15 12:16:31

标签: mysql postgresql etl amazon-redshift

我试着搜索但却找不到......

将数据从Amazon Redshift复制到MySQL / PSQL数据库的最佳方法是什么?

我所知道的唯一解决方案是将数据从Redshift复制到我的机器,然后将其移动到MySQL / PSQL,但这当然是I / O密集型且不可扩展。

任何人都可以建议更好的东西(可能是通过S3的东西)?

2 个答案:

答案 0 :(得分:3)

有很多方法可以做到这一点:

  1. 使用Redshift的UNLOAD命令将表数据导出并上传到S3。然后使用AWS S3 SDK将它们导入到psql / MySQL表中(可能使用Python / Java)

  2. 使用AWS Data Pipeline创建数据流以导出Redshift数据并将其导入您选择的数据库

  3. 使用AWS开发工具包以编程方式使用Python / Java / Ruby导出Redshift数据,并将数据导回数据库。

答案 1 :(得分:2)

这正是AWS Data Pipeline的构建方式。请查看我们的工作样本,以完成您想要做的事情:

https://github.com/awslabs/data-pipeline-samples/tree/master/samples/RedshiftToRDS