我有数百万个IOT设备。 每个设备都会将其数据发送到我的服务器。 我的服务解析数据并将其生成为Kafka主题。 我有另一个应用程序,它使用了如上所述的主题,执行一些逻辑并将其生成另一个主题。 假设每个设备都有一个唯一的设备ID,并且我想防止重复(有时设备会发送它) 我想存储每个设备的最后10条记录: deviceID = 1234->最近10条记录的列表 因此,当我再次获得该deviceID时,由于它已作为KTABLE的一部分被写入,因此我将能够删除它。
有意义吗?我可以实施吗?有更好的方法吗?