使用Kafka和Flink批处理批处理数据源

时间:2016-07-20 03:14:39

标签: apache-kafka kafka-consumer-api apache-flink kafka-producer-api

我目前正致力于大数据流和批量处理平台的架构。我计划将Apache Kafka用于分布式消息传递系统,以处理来自流数据源的数据,然后传递给Apache Flink进行流处理。我还想使用Flink的批处理功能来处理批量数据。

通过Kafka定期传递批量数据作为Flink批处理的来源(这是否可能?)或者我应该将批量数据写入数据存储然后通过读入进行处理是否有意义?弗林克?

0 个答案:

没有答案