我们可以将KStream与Flink一起使用吗?

时间:2019-01-24 07:19:35

标签: apache-kafka microservices apache-flink apache-kafka-streams flink-streaming

我正在微服务体系结构中使用flink流将ETL数据从服务传输到报告和搜索数据库。为了感知数据变化,我目前正在向RMQ生成自定义事件,然后根据报告和搜索需求使用流对数据进行分区,汇总和转换。

我正迁移到kafka作为经纪人和debezium,以从所有微服务的数据库中获取数据。如果我可以使用KStreams API或flink,或者有可能将两者结合在一起,我在徘徊。

1 个答案:

答案 0 :(得分:2)

由于Kafka Streams可以嵌入到任何Java应用程序中,因此理论上答案是肯定的。

但是,出于ETL的目的,这是没有必要的,因为Flink已经可以在不同的Kafka主题甚至不同的集群(Kafka Streams无法做到)之间进行过滤,映射,聚合操作