COPY命令在雪花中从s3存储桶加载数据时跳过文件。无论如何,我可以从整个文件列表中了解已处理的文件数。我的命令如下所示:
COPY INTO abcd.abcdefhg
FROM 's3://dfsdc/asdfa/dfasdaf/sdfasd/'
credentials = (AWS_KEY_ID = '********************' AWS_SECRET_KEY =
'************')
FILE_FORMAT = (
COMPRESSION = 'GZIP'
FIELD_DELIMITER = '|' RECORD_DELIMITER = '\n'
SKIP_HEADER = 0
FIELD_OPTIONALLY_ENCLOSED_BY = '"'
TRIM_SPACE = FALSE
ERROR_ON_COLUMN_COUNT_MISMATCH = TRUE
ESCAPE = '\134'
-- ESCAPE_UNENCLOSED_FIELD = 'NONE'
ESCAPE_UNENCLOSED_FIELD=NONE
DATE_FORMAT = 'AUTO' TIMESTAMP_FORMAT = 'AUTO'
NULL_IF = ('')
)
ON_ERROR = CONTINUE;
答案 0 :(得分:2)
如果已将文件加载到目标表中,则在使用选项force = true之前将不会再次处理该文件,还可以验证每个数据库下可用的使用元数据视图的加载状态。
完成复制命令后,您将在结果面板中获取每个文件的加载状态。