Kafka KSQL是否可以用于大型IoT场景中的实时流聚合

Question

我试图了解KSQL以及它是否具有适合我们的用例的性能特征。

用例 已知有成千上万个与IoT连接的设备正在发送遥测数据，其服务可以将这些数据聚合，排序和分类为各种图形，并将该数据实时返回给每个设备。

KSQL是否适合此用例-特别是在每个设备返回不同的聚合集时？

Answer 1

是的。不，这取决于:-D

这是一个相当广泛的问题，只能广泛回答。

KSQL建立在Kafka Streams（Apache Kafka的一部分）之上。作为分布式系统，您可以分区数据并水平扩展以并行处理。如果需要提高处理数据流的速度，请在更多KSQL服务器中添加，并且只要对主题进行了适当的分区，工作就会分布在所有其他服务器上。