AWS Datapipeline - 将s3存储桶中随机命名的文件导入Redshift

Question

我有一个用例，任何时候新文件都可以显示在s3文件夹中，我们想通过RedshiftCopyActivity在Redshift中导入它们。我有一个管道设置，我们可以将数据从s3移动到Redshift - 但是文件是专门命名的。但是，在这种情况下，文件名可以是随机的。我在考虑像

这样的东西

• 假设我们有一个s3文件夹s3：// toProcess
• 数据管道作业每隔一小时检查s3：// toProcess
中是否有新文件
• 如果有，那么这些都会被处理和删除（所以它不会在下一个小时内处理它们）

有关如何完成此操作的任何想法？

Answer 1

创建新AWS Data Pipeline时，可以选择使用预定义的模板。根据您的需要，Load Data from S3 Into Redshift模板可以帮助您完成大部分工作。您需要添加一个类似于described here的活动来删除这些文件。