解决方案架构Kafka

Question

我正在与第三方供应商合作，我要求向我提供网站生成的事件

供应商建议使用Kafka传输事件...为什么不...

在我这一边（客户端），我正在运行一个100％MSSQL / Windows生产环境，并且内部业务希望网站活动上具有kpi和仪表板

现在的问题是-支持PoC的架构是什么，以便我一方面可以管理输入并创建数据集市来满足业务需求？

Answer 1

不清楚“网站事件”的含义。您的Kafka生产者通常是服务器端组件，当您发出API请求时，您会将Kafka生产事件放在这些请求与数据库调用之间。如果有任何第三方能够立即做到这一点，我会感到惊讶

也许您正在寻找类似https://divolte.io/

的东西

您还可以使用CDC产品将事件从数据库中流式传输

Answer 2

架构可能是这样的。该应用会将事件流传输到Kafka。您可以编写服务以从Kafka读取数据，进行转换并写入数据库。然后，您可以在数据库之上构建仪表板。

或者，您可以在Elastic Search中填充索引并构建Kibana仪表板。

Answer 3

我的建议是使用Lambda体系结构来满足实时和批处理需求：

架构：

Lambda体系结构旨在通过利用批处理和流处理方法来处理大量数据。
该体系结构试图通过使用批处理提供批处理数据的全面而准确的视图，同时使用实时流处理提供在线数据的视图来平衡延迟，吞吐量和容错。

另一种解决方案：