如何将S3的最后处理文件存储到Redshift数据库

Question

目前，我已使用AWS Data Pipeline将数据从Amazon S3复制到Amazon Redshift，仅用于当前日期和时间。我想每30分钟将数据从S3复制到Redshift。最后处理的S3文件名也存储在另一个Redshift表中。

有人可以回答这个问题吗？

Answer 1

您可以使用RedshiftCopyActivity data pipeline object来完成此操作。 schedule对象中的RedshiftCopyActivity字段接受可以30分钟间隔运行的data pipeline schedule object。您需要定义full pipeline in JSON，包括所有AWS资源信息（Redshift数据节点，EC2实例，S3存储桶和密钥）。 JSON模板中源数据文件的文件路径可能指向一个静态文件，该文件每隔30分钟被生成数据的任何内容覆盖。