将数据从 Azure SQL 数据库实时复制到 Synapse

Question

我在生产中有几个 Azure SQL 数据库，我想将数据近乎实时地复制到 Synapse SQL 池。原因是我必须从生产数据库卸载一些分析工作并减少生产数据库的整体负载。

我目前在 ADF 中有一个带有增量表的管道和一个移动数据的滚动窗口。这工作正常，但我需要让它更接近实时。

你们有没有将数据近乎实时地从 Azure SQL Servert 移动到 Synapse SQL 池的经验？

有没有类似 Cosmos HTAP 的东西？

Answer 1

实际上，没有从 Azure SQL 数据库到 Synapse SQL 池的实时 Data Sync 工具或服务。

因为您目前在 ADF 中有一个管道，其中包含增量表和一个移动数据的滚动窗口。您有两种最接近实时的方式：

1. 创建一个 Schedule trigger（每 5 分钟）来运行管道进行复制 将数据近乎实时地传输到 Synapse SQL 池。

2. 创建一个 Logic app trigger: When an item is modified 来收听 Azure SQL 数据库表，当表数据修改时，添加一个动作“获取管道运行”以调用您的数据工厂管道将数据复制到 Synapse SQL 池。

HTH。

Answer 2

您可以使用自定义代码实现此功能，但当需要（接近）实时性时，Azure 数据工厂并不是最佳选择。 Microsoft 已经宣布了用于 Azure SQL 数据库的 Azure Synapse Link 的计划，它将帮助您获得从 DB 到 Synapse 的（近）实时复制。这将非常适合您的需求。该公告是在“用 Azure 数据和分析塑造你的未来”活动中陈述的，Purview 和 Synapse 新功能 GA 于 20 年 12 月 3 日发布。

如果可以选择等待一段时间，我建议您等待 Microsoft 对此的更新。公开预览的可用性尚未公布。敬请期待！