我的组织有MongoDB,它存储基于应用程序的时间序列数据。现在,我们正在尝试创建用于分析和可视化的数据管道。由于时间序列数据的原因,我们计划将Druid用作中间存储,在其中可以进行所需的转换,然后使用Apache Superset进行可视化。有什么方法可以将所需的数据(不仅更新)从MongoDB迁移到Druid?
我当时在考虑Apache Kafka,但据我所读,我了解它只能更好地传输MongoDB和Druid中已经存在的主题(与表相关联的主题)中发生的更改。但是,如果仅在MongoDB中存在一个至少有100,000条记录的表,而我首先希望将整个表推入Druid,那么卡夫卡在这种情况下会起作用吗?