定期将查询结果从Redshift移动到S3存储桶

时间:2016-03-16 06:58:51

标签: amazon-web-services amazon-s3 amazon-redshift

我将数据放在Redshift集群的表中。我想定期对Redshift表运行查询并将结果存储在S3存储桶中。

我将在S3存储桶中对此数据运行一些数据转换,以便输入另一个系统。根据AWS文档,我可以使用UNLOAD命令,但是否有办法定期安排?我搜索了很多,但我没有找到任何相关信息。

4 个答案:

答案 0 :(得分:2)

您可以使用Airflow之类的计划工具来完成此任务。气流似乎与Redshift和S3无关。您可以进行DAG操作,定期轮询Redshift并将Redshift中的数据卸载到S3上。

答案 1 :(得分:0)

我不相信Redshift能够定期安排查询。您需要使用其他服务。您可以使用Lambda函数,也可以在EC2实例上安排cron作业。

答案 2 :(得分:0)

我相信您正在寻找AWS数据管道服务。

您可以使用RedshiftCopyActivity(http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html)将数据从redshift复制到s3。

我正在复制上述网址中的相关内容以供将来使用:

您还可以使用RedshiftCopyActivity从Amazon Redshift复制到Amazon S3。有关详细信息,请参阅S3DataNode。 您可以使用SqlActivity对已加载到Amazon Redshift的数据执行SQL查询。

如果这有帮助,请告诉我。

答案 3 :(得分:0)

您应该尝试使用AWS Data Pipelines。您可以安排它们定期或按需运行。我相信它会解决你的用例