Postgres数据集ETL

时间:2017-01-24 20:37:10

标签: sql-server database postgresql etl

我每30分钟从MS SQL Server数据库中提取数据到我的Postgres数据库。

由于SQL Server数据库中的数据非常非关系,因此该任务变得更加复杂。它来自一个旧的无模式数据库,而且没有正确编入索引。

我想要做的是每次从SQL Server中提取数据时,我都会将该数据集与Postgres数据库中的现有数据进行比较。然后我想只得到差异然后UPDATE Postgres而不是从SQL Server重新创建所有数据。

Postgres是一个基于云的数据库,SQL Server是一个本地数据库。如果我尝试(并且我确实尝试)重建整个Postgres数据库,它将轻松地吹我30分钟。窗口。

我试图将整个数据库从本地推送到云端并在Postgres中重建数据库。这花了30多分钟。

我还能够在两个数据转储之间做差异。

问题是:如何检查2个数据转储之间的delta / diff并仅提取delta?

编辑:添加了与我想要实现的目标相关的问题

0 个答案:

没有答案