Kafka-Streams-加入前过滤GlobalKTable

Question

请您给我有关以下问题的解决方法的建议。我有两个主题，一个主题具有静态内容，第二个主题涉及数据流。任务是加入数据，这在通常情况下会很容易。我会将静态内容读取为GlobalKTable，将动态内容读取为KStream，然后简单地将它们加入。问题在于，同一主题中的多个版本中都存在查找数据。 “版本”由字段“ validFrom”标识。因此，流的数据需要根据其时间戳与相应版本的查找数据结合在一起。有没有办法过滤GlobalKTable中的数据？

最好的问候 马丁

Answer 1

您不能对GlobalKTable本身进行过滤操作，但是可以尝试测试ValueJoiner中记录的版本，并将未通过测试的联接结果记录的值设置为null。连接之后，您可以应用过滤器以过滤出所有值为null的记录。