直接通过外部表登台S3文件

时间:2020-01-06 19:42:26

标签: snowflake-cloud-data-platform

我试图找到一种方法来直接查询csv,json和avro文件,而不必先暂存文件。

有没有办法做到这一点?

到目前为止,我发现的是:

  1. 外部表https://docs.snowflake.net/manuals/user-guide/tables-external-intro.htm
  2. 另一个名为FiveTran的工具,可让我更正任何自动 文件检测->表检测

是否有另一种方法可以直接将文件读取到Snowflake而无需暂存文件?

1 个答案:

答案 0 :(得分:4)

如果创建引用该s3存储桶/位置的Snowflake“ stage”对象,则可以直接在s3上查询文件。

详细信息可以在这里找到:

https://docs.snowflake.net/manuals/user-guide/querying-stage.html#querying-data-in-staged-files

在这种情况下,您实际上并没有将数据“加载”到Snowflake中,而是在数据库中创建了一个“ stage”对象,该对象实际上是指向s3位置的“指针”。

我希望这对您有帮助...丰富