我正在设计网络日志分析。
我找到了一位有Django(后端和前端)+ kafka + spark的建筑师。
我还从这个链接找到了一些相同的系统:http://thevivekpandey.github.io/posts/2017-09-19-high-velocity-data-ingestion.html和下面的架构师
但我对卡夫卡消费者的角色感到困惑。它将是一项独立于Django的服务,对吗?
所以如果我想将实时数据绘制到前端图表,我如何附加到Django。
如果我同时放置kafka-consumer和amp; Django的制作人。来自sdk的请求通过传递给kafa主题(生产者)来回到Django并返回Django(消费者)进行处理。为什么我们不直接去。它看起来简单而且更好。
请帮助我了解卡夫卡消费者应该属于哪个角色?以及如何连接到我的前端。
谢谢&最好的问候,
詹姆斯