如何在指定数据类型的同时将数据从 S3 加载到雪花中

时间:2021-03-01 18:26:17

标签: amazon-s3 snowflake-cloud-data-platform data-warehouse

我知道可以通过创建文件格式类型为 csv 的外部阶段,然后将其加载到具有 1 VARIANT 类型的列。但这需要一些手动步骤来将此数据转换为正确的类型以创建可用于分析的视图。

有没有办法从 S3 自动执行此加载过程,以便从 CSV 文件推断表列数据类型或通过其他方式在别处指定? (类似于如何在 Google BigQuery 中从具有推断表架构的 GCS 中的 csv 文件创建表)

1 个答案:

答案 0 :(得分:0)

截至今天,您采用的单一 Variant 列解决方案是最接近使用 Snowflake 开箱即用工具来实现您的目标的方法,正如我从您的问题中了解到的,就是让加载过程推断源文件结构。

事实上,COPY 命令需要通过 FILE_FORMAT 知道要从中加载数据的预期文件的结构。

更多详情:https://docs.snowflake.com/en/user-guide/data-load-s3-copy.html#loading-your-data