建筑？业务逻辑与大数据分离

Question

我有一个依赖业务逻辑对IOT传感器进行分组的应用程序。业务逻辑是一个PostgreSQL数据库，用于跟踪帐户，已部署的设备，配置等。

我们都知道这些IOT设备每天能够生成数百万个数据点。我不认为我应该在PostgreSQL中存储“大数据”。即使我做了，我也可能希望将结果与业务逻辑分开。

我还需要在“大数据”上运行可视化。现在，我将“大数据”作为JSON Blob存储在AWS S3中，并使用Athena和Quicksite对其进行可视化。

所以，有两个问题。

首先，就建筑学而言，我是否走在正确的道路上？将业务逻辑与“大数据”分开。

第二（假设第一个问题是），如果我的可视化依赖于某些业务逻辑，那么我如何将两者结合起来？将元数据保存到S3中是否与产生它的业务逻辑背道而驰？

Answer 1

对于两种不同类型的数据拥有两个单独的数据存储在架构上没有错。我将不再称其为“业务逻辑”，因为它不是逻辑，而是元数据。

我个人将服务封装在元数据周围，以便可以在处理时对其进行检索，这样您就可以维护单个事实来源。如果这具有挑战性，那么将其导出到S3存储桶的想法也可以，但是您必须担心过时的数据等。