我们正在提议一个拱形结构,以使用kafka作为将Web服务与微服务通信的层。
但是我意识到我们无法查询或过滤来自Kafka主题的数据,例如,假设我们拥有在应用程序中管理学生的主题,并且我们有一个仪表板向我们展示了我不认识的十个学生的区块没有办法询问kafka的最新10名学生,Kafka会给我所有的学生,所以如果我有10亿学生,我的应用程序应该订购并过滤这些学生,对吗?
答案 0 :(得分:-1)
您需要将Kafka连接到允许您查询值的服务。 Kafka允许您使用Kafka connect:https://kafka.apache.org/documentation/#connect
Rockset是您可以在Kafka上使用的一项很好的服务,可以很容易地使用API从Web应用程序中查询它。 Rockset将数据连接到应用程序,因此您可以将其连接到Kafka,然后使用来自Web应用程序的Rockset的API查询数据。
完全公开,我在Rockset工作,因此即使您可以在Kafka上使用许多服务来查询数据,Rockset也是我所知的唯一服务。但是Rockset的好处是它可用于实时数据,非常适合实时Web应用程序和像您这样的仪表板。
查看此博客以将Kafka连接到Rockset:https://rockset.com/blog/real-time-analytics-using-sql-on-streaming-data-kafka-rockset/ 而且,您可以大致了解Rockset的方式,将其连接到Kafka后,可以通过它查询实时网络应用程序:https://rockset.com/blog/