使用视图是否是通过kafka进行ETL复杂查询的好策略？

Question

我在Microsoft sql服务器上有一个数据仓库，并且涉及许多复杂的查询，这些查询涉及表之间的大量联接。每个查询都会为我返回一个结构，该结构随后将用于填充mongodb数据库中的对象。

查询可以更改并包含新表，因此我的策略如下：

1. 我将创建一些物化视图（当然，Microsoft会根据自己的喜好执行操作，因此似乎这些视图不存在，但呈现为普通视图+索引，我想知道吗？）。
2. 我将为视图设置适当的更新时间
3. 然后，卡夫卡会在这些视图上监听事件

我不太确定这种方法，因为我不知道该dbms如何以及是否也会为实例化视图生成事件日志，也不知道kafka是否会将它们解释为对表的更改。

另一种选择是监听每个表上的事件，但是正如我所说的那样，事件很多并且可能会发生变化，因此会涉及很多维护工作。

你怎么看？

Answer 1

如所评论，视图不会发出事件

您可以通过Kafka Connect JDBC来查询视图，就像其他任何表一样

否则，您将需要不同的主题来执行过滤器和联接