问题:我在外部数据库中有一个表,其中包含我最后一次从Kafka总线轮询的kafka事件。该表包含复合主键PK(主题,分区,偏移)的所有事件。
所以我可以轻松地为每个主题和分区确定最新的事件。
现在我想做一个像这样的选择:
SELECT event
FROM topic
WHERE event.partition = partition0 AND event.offset > partition0.offset
OR event.partition = partition1 AND event.offset > partition1.offset
...
当然我希望语句立即返回当前队列中的所有事件,并将结果写入HDFS文件。
我如何使用KSQL做到这一点?
N.B。:我当然希望将所有具有相应偏移量的分区作为对放入一个数组中,然后在where子句中使用它......这将是一个很好的解决方案。