管理大型数据集的最佳选项SQlserver

Question

我目前正在开展一个涉及以下方面的项目：

• 我正在处理的应用程序已连接到SQlserver 数据库中。
• SAP将信息加载到多个表中（每天一次） 并且还按小时计入MASTER数据库
• 还有5个其他数据库（托管在同一台服务器上）通过对MASTER数据库的同义词和存储过程调用来访问此信息

• MASTER数据库纯粹用于存储数据并将其路由到其他数据库）

  主数据库 -

  表：

• MASTER_TABLE1 <------- SAP inserts data into this table.Triggers are used to process the valid data & insert into secondary staging tables -say MASTER_TABLE1_SEC

• MASTER_TABLE1_SEC -- Holds processed data coming into MASTER_TABLE1

同一服务器中存在五个其他数据库（针对每个制造工厂）。我的应用程序连接到设施数据库（不是主数据库） 基金1 Facility2 .... FACILITY5

在这5个设施数据库的每一个中创建MASTER_TABLE1_SEC的同义词 从Facility数据库再次调用存储过程 - 以便根据业务逻辑将数据从MASTER_TABLE1_SEC加载到相应的表（在EACH工具内）。

有没有更好的架构来处理这种项目？在高级数据管理方面，我是初学者。任何人都可以建议更好的架构或工具来处理这个问题吗？

Answer 1

有很多模式可以满足这里描述的需求。它适用于您正在使用某种数据仓库。我将Data Vault用于我的企业数据仓库。它是一种集成建模技术，专为集成和主数据准备而设计。您可以将其视为一种容纳所有数据的方法。然后，您将为每个仅包含i或其他需要的设施生成数据集市（Kimball方法）。