我正在微服务体系结构中使用flink流将ETL数据从服务传输到报告和搜索数据库。为了感知数据变化,我目前正在向RMQ生成自定义事件,然后根据报告和搜索需求使用流对数据进行分区,汇总和转换。
我正迁移到kafka作为经纪人和debezium,以从所有微服务的数据库中获取数据。如果我可以使用KStreams API或flink,或者有可能将两者结合在一起,我在徘徊。
答案 0 :(得分:2)
由于Kafka Streams可以嵌入到任何Java应用程序中,因此理论上答案是肯定的。
但是,出于ETL的目的,这是没有必要的,因为Flink已经可以在不同的Kafka主题甚至不同的集群(Kafka Streams无法做到)之间进行过滤,映射,聚合操作