在Snowflake Kafka连接器中，我们可以定义文件类型吗

Question

在Snowflake kafka连接器中，我可以使用预定义的数据类型，因为在内部它使用Snowpipe来加载数据。

我要在这里实现的是在将数据加载到舞台表时从json消息中删除外部数组。

Answer 1

今天没有选择。您可以在目标Kafka表上创建一个流，并基于该流创建一个任务。然后转换为没有json外部数组的新表。

我建议提出一个新的想法，因为这是一个很好的功能要求：

documentation

Answer 2

我认为最简单的解决方案是在Kafka连接器加载数据的表上创建视图。

我有几种类似的情况，创建了视图来处理数据以消耗和屏蔽PII信息，而无需辅助表或进程。

如果数据量很大和/或您的视图性能不能满足您的需求，则可以随时创建实例化视图。