AWS Datapipeline RedShiftCopyActivity - 如何指定“列”

时间:2014-12-04 14:04:41

标签: amazon-web-services amazon-s3 amazon-redshift amazon-data-pipeline

我正在尝试使用RedShiftCopyActivity和数据管道将一堆csv文件从S3复制到Redshift。

只要csv结构与表结构匹配,这就可以正常工作。在我的情况下,csv的列数比表少,然后RedShiftCopyActivity在stl_load_errors中出现“Delimiter not found”错误。

我想使用redshift copy命令“columns”选项。这样我可以使它工作,但redshift复制命令的列部分似乎在RedShiftCopyActivity中不可用。

有人有什么建议吗?

热烈欢迎所有小贴士。

非常感谢。

彼得

1 个答案:

答案 0 :(得分:1)

我知道这是一个老问题,但现在您可以指定Redshift COPY命令的列列表。

COPY tablename (column1 [,column2, ...]) 

从S3加载数据时,列顺序需要与源数据的顺序匹配。在这里查看文档:{​​{3}}。

拉​​杜