雪花任务和流 - 复杂性和可视化

Question

我们正在进入 POC，需要确定 Snowflake 任务和流是否对 CDC 和数据转换有用。我读过雪花文档，读得越多，它似乎处理起来就很复杂。考虑数以千计的表和复杂的转换，任务和流将如何扩展？考虑一个从 5 个其他提要加载的表，该过程将是什么样子。最重要的是，snowflake 不提供任何可视化来处理任务。你们中的一些使用 Snowflake 流/任务的人能否评论并分享您对使用任务和流的看法？如果您在尝试之后选择了替代方案，它是商业 ETL 工具还是数据块？如果我们已经在使用 qlik 将数据引入 AWS S3（数据湖），那么使用流从我们的数据湖中提取到雪花是否有意义？

TIA

Answer 1

这个问题对于典型的 Stack Overflow 流程来说似乎太宽泛了（所以社区可能会选择关闭它）。

与此同时，我将在此处回答上述问题之一：“最重要的是，snowflake 不提供任何可视化来处理任务”

有一个由 Snowflake SE 创建的可视化任务的工具：

https://medium.com/snowflake/visualizing-task-hierarchies-and-dependencies-in-snowflake-snowsight-d28298d0f0ed

对于更大的图景：雪花流和任务是更复杂解决方案的基本构建块。随着您的用例变得越来越复杂，您需要找到管理这种复杂性的方法 - 使用您自己的工具、Snowflake 的工具或第三方。

由于您正在运行 POC：请务必咨询您的 Snowflake 销售联系人。像 Dave 这样的工程师已经准备好并渴望找到适合您需求的解决方案。