如何在Snowflake Spark Connector中将Google Bucket用作外部舞台位置？

Question

我想使用Snowflake Spark Connector从客户端的Snowflake实例中导出数据。

我遇到的问题是客户端与我共享的帐户仅具有 Reader Access ，因此我无法使用Snowflake Spark连接器，因为在舞台创建步骤，因为我无权在客户端的Snowflake实例上创建内部舞台。

我从这个Blog (Step 4, Configuration of the staging area for the connector in AWS S3)中发现，您可以配置一个外部舞台位置，例如可以是我自己的帐户。因此，我不需要对该客户端的Snowflake实例进行任何其他访问。

唯一的问题是我使用的是 Google Cloud Storage ，而不是AWS S3。我找不到说明如何将Google Bucket用作外部存储的文档。

Here I find docs on how to provide custom AWS Credentials。 其中说我需要提供以下参数：

• awsAccessKey
• awsSecretKey
• tempdir

在确定要配置哪些选项以将Google Cloud Storage用作外部舞台位置时，我需要帮助。

Answer 1

尽管Apache Hadoop（以及扩展名为Apache Spark）的云存储连接器现在通过gs:// URL和associated configuration支持Google Cloud Storage，而Snowflake的Spark连接器does not yet support使用Google Cloud作为发布时进行云存储操作。