考虑将哪种类型的错误处理方法流式传输到Snowflake中?

时间:2019-12-23 16:55:15

标签: error-handling message-queue snowflake-data-warehouse

我有一个通过Message Queue传输的数据流,间隔为5分钟到15分钟。我将把它吸收到Snowflake中,我想知道在处理此类数据时应为所有错误条件编写的代码。我将首先将此表放置在雪花型表Stg A中,该表具有不同的数据类型,我认为它倾向于在每个迭代间隔内保存数据。我打算在每个源提取间隔期间删除此表,具体取决于下一个作业是否已读取前一个间隔中的数据。在下一阶段的表Stg B中,我将把json数据展平为列。然后,将其加载到第三表Stg C中,并将其与其他参考数据结合起来。这将在实时仪表盘中公开。

请告知对于该用例,可以合并所有错误处理方法(Snowflake固有的还是用户定义的)。

0 个答案:

没有答案