有没有办法只使用RedShiftCopyActivity将特定列从RedShift复制到S3?

时间:2016-02-17 05:17:47

标签: amazon-s3 amazon-redshift amazon-data-pipeline

我假设从RedShift复制 - > S3只能使用RedshiftcCopyActivity完成。但是我似乎无法找到将特定列复制到S3(仅复制所有列)的方法。

我这样做的原因是因为redshift中的一个列包含回车字符,后者与后面定义的PigActivity混淆。所以我想,因为我不需要那个列,所以我只会复制列,以使我的PigActivity顺利运行。

2 个答案:

答案 0 :(得分:0)

我相信RedshiftCopyActivity用于利用COPY命令,即S3-> Redshift。相反的命令是UNLOAD

您的请求可以使用SQLActivity完成,您可以使用UNLOAD语句编写完整的SELECT命令来定义卸载列。

答案 1 :(得分:0)

您可以使用RedshiftCopyActivity中的transformSql选项来复制选择列。 参考:http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html