将Snowflake卸载到S3时,后缀是什么意思?

时间:2019-07-30 11:39:54

标签: amazon-s3 snowflake-data-warehouse

当我unload to S3这样时:

COPY INTO '@stage/foobar'
FROM some.table
file_format = (type = csv,
               RECORD_DELIMITER = '\n',
               FIELD_DELIMITER=',',
               FIELD_OPTIONALLY_ENCLOSED_BY='"')
SINGLE = FALSE
HEADER = TRUE

我在S3上获得了多个文件。我执行了两次这种类型的转储,两次都是foobar_[digit]_[digit]_[digit].csv.gz,但是它们看起来不同:

# files dumped the first time
foobar_0_0_0.csv.gz
foobar_0_1_0.csv.gz
foobar_0_2_0.csv.gz
foobar_0_3_0.csv.gz
foobar_0_4_0.csv.gz
foobar_0_5_0.csv.gz
foobar_0_6_0.csv.gz
foobar_0_7_0.csv.gz
foobar_1_0_0.csv.gz
foobar_1_2_0.csv.gz
foobar_1_3_0.csv.gz
foobar_1_4_0.csv.gz
foobar_1_5_0.csv.gz
foobar_1_7_0.csv.gz

# files dumped the second time
foobar_0_1_0.csv.gz
foobar_0_2_0.csv.gz
foobar_0_3_0.csv.gz
foobar_0_4_0.csv.gz
foobar_0_5_0.csv.gz
foobar_0_6_0.csv.gz
foobar_0_7_0.csv.gz
foobar_1_0_0.csv.gz
foobar_1_1_0.csv.gz
foobar_1_2_0.csv.gz
foobar_1_3_0.csv.gz
foobar_1_4_0.csv.gz
foobar_1_7_0.csv.gz

后缀是什么意思?

让我感到困惑的三件事:

  1. 不使用最后一位数字
  2. 第二个数字开始递增计数(0-7),但从7停止。
  3. 为什么第二个转储中不存在0_0_0

1 个答案:

答案 0 :(得分:2)

这些后缀只是为了确保跨并行执行的唯一名称,但除此之外并不重要。您可以使用MAX_FILE_SIZE复制选项来调整在卸载过程中创建的文件数,也可以通过设置SINGLE = TRUE来禁止将其卸载到多个文件中。

https://docs.snowflake.net/manuals/user-guide/data-unload-overview.html#bulk-unloading-into-single-or-multiple-files