COPY命令跳过雪花中的文件

时间:2020-02-19 23:45:13

标签: snowflake-cloud-data-platform

COPY命令在雪花中从s3存储桶加载数据时跳过文件。无论如何,我可以从整个文件列表中了解已处理的文件数。我的命令如下所示:

   COPY INTO abcd.abcdefhg
   FROM 's3://dfsdc/asdfa/dfasdaf/sdfasd/'
   credentials = (AWS_KEY_ID = '********************' AWS_SECRET_KEY = 
   '************') 
   FILE_FORMAT = (
   COMPRESSION = 'GZIP'
   FIELD_DELIMITER = '|' RECORD_DELIMITER = '\n'
   SKIP_HEADER = 0
   FIELD_OPTIONALLY_ENCLOSED_BY = '"'
   TRIM_SPACE = FALSE
   ERROR_ON_COLUMN_COUNT_MISMATCH = TRUE
   ESCAPE = '\134'
   -- ESCAPE_UNENCLOSED_FIELD = 'NONE'
   ESCAPE_UNENCLOSED_FIELD=NONE
   DATE_FORMAT = 'AUTO' TIMESTAMP_FORMAT = 'AUTO'
   NULL_IF = ('')
    )
   ON_ERROR = CONTINUE;

1 个答案:

答案 0 :(得分:2)

如果已将文件加载到目标表中,则在使用选项force = true之前将不会再次处理该文件,还可以验证每个数据库下可用的使用元数据视图的加载状态。

完成复制命令后,您将在结果面板中获取每个文件的加载状态。