水槽或卡夫卡相当于mongodb

Question

在Hadoop世界中，flume或kafka用于流式传输或收集数据并将其存储在Hadoop中。我只是想知道Mango DB是否有一些类似的机制或工具来实现这些？

Answer 1

MongoDB只是数据库层，而不是像Hadoop生态系统这样的完整解决方案。我实际上使用Kafka和Storm在MongoDB中存储数据，以防需要处理和存储大量的传入数据。

Answer 2

尽管Flume经常被用作Hadoop生态系统的一员，但它与其他来源/接收器一起使用并非不可能。 MongoDB也不例外。实际上，Flume足够灵活，可以扩展到创建自己的自定义源/接收器。例如，请参阅此project。这是一个定制的Flume-Mongo-sink。