亚马逊数据管道中红移副本的sqlactivity不会为文件名选择通配符

Question

我在亚马逊数据管道中使用sqlActivity将数据复制到我的redshift表 如果我指定一个fileName就像part-00000.gz那样脚本运行正常但是当我指定通配符 .gz来挑选目录中的所有文件时我得到错误，其中通配符实际上被认为是文件名，所以它抱怨文件名Output / Prod / Bens_Analytics / 2015/02/10 / IP_To_FileName / .gz不存在

开始交易;   创建临时表ip_to_filename_staging_table（如bens_analytics_ip_to_filename）;

从's3：//er-hadoop/Output/Prod/Bens_Analytics/2015/02/10/IP_To_FileName/*.gz'复制ip_to_filename_staging_table      凭证'aws_access_key_id =＆lt;＆gt;; aws_secret_access_key =＆lt;＆gt;'      gzip delimiter'\ t'COMPUPDATE OFF STATUPDATE OFF;

使用bens_analytics_ip_to_filename从ip_to_filename_staging_table删除     where（ip_to_filename_staging_table.day = bens_analytics_ip_to_filename.day和ip_to_filename_staging_table.ip = bens_analytics_ip_to_filename.ip     和ip_to_filename_staging_table.filename = bens_analytics_ip_to_filename.filename）;

插入bens_analytics_ip_to_filename select * from ip_to_filename_staging_table;

drop table ip_to_filename_staging_table;   结束交易;

Answer 1

我明白了 当我使用像's3：// er-hadoop / Output / Prod / Bens_Analytics / 2015/02/10 / IP_To_FileName / part'这样的路径时，它选择了所有part-xxxxx.gz文件