更改雪花中的数据捕获

Question

我想知道是否有人知道雪花能否改变数据捕获，以及如何实现。

我似乎找不到任何文档。

谢谢

Answer 1

可以使用流https://docs.snowflake.net/manuals/user-guide/streams.html

在Snowflake中更改数据捕获（CDC）。

对于带有外部源的CDC，您依赖于数据集成提供商（例如Alooma，Matillion，Golden Gate）或自行实现。

此外，Snowflake还与Kafka集成。这样您“只需”就可以将更改推送到Kafka以便与Snowflake集成：https://docs.snowflake.net/manuals/user-guide/kafka-connector.html

Answer 2

如果您想使用经济高效的系统，请使用现有的cdc工具（例如hvr-software），根据我对它们的经验，该工具将提供最佳的功能。

hvr中最好的事情是它具有许多连接器，例如s3，snowflare和内置的蜂巢支持，可以在加载的数据之上创建表。

注意：当然，snowflare用kafka或任何其他来源支持流，但是为什么我们需要一直使集群运行并运行，而cdc工具却在单个ec2实例上运行。