我是AWS新手,我试图创建一个数据管道来将s3文件转换为红移。
我已经手动执行了相同的任务。现在使用流水线技术,我无法继续进一步
复制选项出现问题:
s3文件的示例数据如下:
15,NUL next, ,MFGR#47,MFGR#3438,indigo,"LARGE ANODIZED BRASS",45,LG CASE
22,floral beige,MFGR#4,MFGR#44,MFGR#4421,medium,"PROMO, POLISHED BRASS",19,LG DRUM
23,bisque slate,MFGR#4,MFGR#41,MFGR#4137,firebrick,"MEDIUM ""BURNISHED"" TIN",42,JUMBO JAR
24,dim white,MFGR#4,MFGR#45,MFGR#459,saddle,"MEDIUM , ""PLATED"" STEEL",20,MED CASE
所以在手工工作中我给了这个复制命令:
copy table from 's3://<your-bucket-name>/load/key_prefix'
credentials 'aws_access_key_id=<Your-Access-Key-ID>;aws_secret_access_key=<Your-Secret-Access-Key>'
csv
null as '\000';
它完美无缺
我尝试使用基本选项:
1. csv
2. null as '\000'
但没有效果。