用于UI显示的MongoDB数据转换

时间:2018-07-31 10:54:13

标签: mongodb data-visualization etl data-warehouse

我们遇到了一个巨大的问题,我们需要弄清楚如何以正确的方式实现这一目标。

我们通过Mongoose使用MongoDB并转储许多不同的数据。 我们需要根据某些输入从很少的集合中创建一个大型聚合。

创建聚合函数不能提供良好的性能。

我们需要找到一种技术解决方案,正确的解决方案, 要真正创建“ ETL”而不创建真正的ETL,需要存储数据的实时样本,以便UI层可以平滑地查询它。

假设我有5个集合,我需要实时显示每个集合的3个字段,并且使用聚合的“联接”将无法提供足够好的性能明智的解决方案。

我们可能需要一个中介者,我们认为使用etl转储数据来进行红移,但感觉不正确。

这似乎是一个常见的问题,但我们似乎找不到平滑而正确的解决方案。

我们不介意部署任何需要的东西。

谢谢您的建议。

0 个答案:

没有答案