无法创建AW​​S数据管道以将s3复制到redshift

时间:2017-05-25 13:32:08

标签: amazon-web-services amazon-s3 amazon-redshift amazon-data-pipeline

我是AWS新手,我试图创建一个数据管道来将s3文件转换为红移。

我已经手动执行了相同的任务。现在使用流水线技术,我无法继续进一步

复制选项出现问题:

enter image description here

s3文件的示例数据如下:

15,NUL next, ,MFGR#47,MFGR#3438,indigo,"LARGE ANODIZED BRASS",45,LG CASE
22,floral beige,MFGR#4,MFGR#44,MFGR#4421,medium,"PROMO, POLISHED BRASS",19,LG DRUM
23,bisque slate,MFGR#4,MFGR#41,MFGR#4137,firebrick,"MEDIUM ""BURNISHED"" TIN",42,JUMBO JAR
24,dim white,MFGR#4,MFGR#45,MFGR#459,saddle,"MEDIUM , ""PLATED"" STEEL",20,MED CASE

所以在手工工作中我给了这个复制命令:

copy table from 's3://<your-bucket-name>/load/key_prefix' 
credentials 'aws_access_key_id=<Your-Access-Key-ID>;aws_secret_access_key=<Your-Secret-Access-Key>' 
csv
null as '\000';

它完美无缺

我尝试使用基本选项:

 1. csv
 2. null as '\000'

但没有效果。

0 个答案:

没有答案