在RedShift上排除COPY命令中的特定行

Question

我使用COPY命令将S3中的csv文件加载到Redshift表中。这是一个500万行文件，我收到一个加载错误，说第259123行有文本而不是数字。

加载时是否有选项可以排除该行？我猜测会有更多这样的内容，所以我正在寻找一种从导入中排除一组特定行的方法。

copy newtable from 's3://data.csv' credentials
'aws_access_key_id=ttt;aws_secret_access_key=ttt' 
delimiter ',' IGNOREHEADER as 1

Answer 1

您可以使用“ESCAPE maxerror error_count”。假设您想要逃避1错误：

 copy newtable from 's3://data.csv' credentials
'aws_access_key_id=ttt;aws_secret_access_key=ttt' 
 delimiter ',' IGNOREHEADER as 1`ESCAPE maxerror 1

Amazon redshift documentation