AWS Data Pipeline访问S3

Question

我正在使用AWS Data Pipeline将文件从S3复制到AWS Redshift表中。 S3上的文件夹结构如下：

s3://test/folderA
s3://test/example=01
s3://test/example=02
s3://test/example=03
s3://test/example=04

我希望能够复制'example = ##'文件夹中的所有文件，但不能复制'folderA'

任何想法如何做到这一点？数据管道中的正则表达式似乎不起作用。

Answer 1

如果文件很多，似乎清单文件是最佳选择： http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-s3datanode.html

如果只有几个文件，我会使用S3文件名的表达式：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-pipeline-expressions.html 用户定义的字段。使用不同的值创建多个按需管道执行。