我有以下COPY声明。它会为maxerror跳过行。有什么方法可以将数据复制到COPY进行红移,无论类型如何,都会迫使任何错误进入列中?我不想失去信息。
sql_prelim = """copy table1 from 's3://dwreplicatelanding/file.csv.gz'
access_key_id 'xxxx'
secret_access_key 'xxxx'
DELIMITER '\t' timeformat 'auto'
GZIP IGNOREHEADER 1
trimblanks
CSV
BLANKSASNULL
maxerror as 100000
"""
下面是我想跳过的错误,但理想情况下,我想跳过所有错误并维护数据:
1207- Invalid digit, Value 'N', Pos 0, Type: Decimal