使用Kafka KSQL从给定偏移量

时间:2018-06-12 16:06:07

标签: apache-kafka ksql

问题:我在外部数据库中有一个表,其中包含我最后一次从Kafka总线轮询的kafka事件。该表包含复合主键PK(主题,分区,偏移)的所有事件。

所以我可以轻松地为每个主题和分区确定最新的事件。

现在我想做一个像这样的选择:

SELECT event 
  FROM topic
 WHERE event.partition = partition0 AND event.offset > partition0.offset
    OR event.partition = partition1 AND event.offset > partition1.offset
...

当然我希望语句立即返回当前队列中的所有事件,并将结果写入HDFS文件。

我如何使用KSQL做到这一点?

N.B。:我当然希望将所有具有相应偏移量的分区作为对放入一个数组中,然后在where子句中使用它......这将是一个很好的解决方案。

0 个答案:

没有答案