从AWS RDS到Azure SQL数据仓库的数据迁移

Question

我的应用程序数据库在AWS RDS（postgresql）中运行。我需要将数据从AWS迁移到Azure SQL数据仓库。

这是一种ETL过程，我需要对来自Postgresql的数据进行一些计算/计算/聚合，并将其放在Azure SQL数据仓库中的不同模式中以进行报告。 此外，我需要定期同步数据而不会重复。

我是数据迁移概念的新手，请告诉我实现此任务的最佳方法是什么？

感谢!!!

Answer 1

Azure datafactory是您的选择。它是一种云数据集成服务，用于将数据存储，移动和处理服务组合到自动数据管道中。

请在下面找到Postgresql连接器。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-postgresql-connector

在转换部分，您可能需要进行一些自定义中间步骤来进行数据按摩。

Answer 2

您是否尝试过Azure datafactory建议？ 它解决了你的问题吗？

如果没有，您可以尝试使用Alooma。该解决方案可以近乎实时地将托管在Amazon RDS上的PostgreSQL数据库复制到Azure SQL数据仓库。 （https://www.alooma.com/integrations/postgresql/）

按照以下步骤从RDS迁移到Azure SQL：

验证您的主机配置

1. 在参数组下的RDS信息中心，导航至与您的实例相关联的论坛。

2. 确认hot_standby和hot_standby_feedback设置为1.

3. 验证max_standby_archive_delay和max_standby_streaming_delay是否大于0（我们建议30000）。

4. 如果需要更改任何参数值，请单击“编辑参数”。

连接到Alooma

1. 您可以通过SSH服务器（https://support.alooma.com/hc/en-us/articles/214021869-Connecting-to-an-input-via-SSH）或白名单访问Alooma的IP地址进行连接。

52.35.19.31/32

52.88.52.130/32

52.26.47.1/32

52.24.172.83/32

1. 从Plumbing屏幕添加并命名您的PostreSQL输入，并输入以下详细信息： PostgreSQL服务器的主机名或IP地址（默认端口为5432） 用户名和密码 数据库名称

2. 选择您要用于PostgreSQL数据库复制的复制方法 要进行完全转储/装载复制，请提供：

要复制的表名称的空格或逗号分隔列表。 您希望复制表格的频率。越频繁，您的数据就越新鲜，但它对PostgreSQL数据库的负载就越多。

对于增量转储/负载复制，请提供：

要复制的每个表的表/更新指示符列对。 没有更新指标列？让我们知道！我们仍然可以为您增加负载。

如果您希望Alooma自动将所有PostgreSQL表映射到目标数据仓库，请将映射模式保持为默认值OneClick。否则，他们必须从Mapper屏幕手动映射。