使用Kafka Connect和Flink的实时流数据管道

Question

我正计划将以下数据管道放在一起以满足一项要求。
IBM MQ-> Kafka Connect-> Flink-> MongoDB
Flink实时流是执行过滤，应用业务规则并丰富传入记录。
IBM MQ部分是无法更改的旧组件。
可能会使用融合或cloudera平台来容纳流程的Kafka和Flink部分。
我可以围绕上述方法使用一些想法/建议。

Answer 1

我将仔细研究您是否真的需要Kafka Connect。我相信IBM MQ支持JMS，并且在Apache Bahir中有一个JMS兼容连接器用于Flink：http://bahir.apache.org/docs/flink/current/flink-streaming-activemq/。