收集MongoDB delta数据并推送到kafka?

时间:2017-06-28 16:47:08

标签: mongodb apache-spark apache-kafka flume sqoop

我们有一个mongodb数据库,它不断从不同来源获取数据,我想继续将这些数据作为生产者实时推送给kafka,以便我可以为我的分析提供spark kafka集成。如果有人对此做了任何事情或者是否有任何可能的解决办法,请告诉我。 Flume不支持mongodb作为源,而sqoop不支持RDBMS。

1 个答案:

答案 0 :(得分:0)

您可以使用Kafka Connect: https://www.confluent.io/product/connectors/

根据以上所述,mongodb至少有2个源连接器可用:

https://github.com/DataReply/kafka-connect-mongodb

https://github.com/teambition/kafka-connect-mongo