具有Azure SQL数据库到Power BI的Azure数据工厂体系结构

时间:2019-11-19 15:00:07

标签: azure azure-sql-database azure-storage azure-data-factory azure-databricks

我不是MS专家-如果我弄错了一些信息,最近就提前参加了Azure培训和道歉。

基本上需要使用 Azure Data Factory (作为ETL / ELT工具)和 Azure SQL数据库(作为 Azure数据结构)在 Azure的体系结构中进行一些输入。存储)到BI输出-Power BI。我的情况是这样

  • 我有本地数据源,例如 Oracle DB,Oracle Cloud SSAS,MS SQL服务器数据库
  • 我想要一个用于报告目的的MS云基础架构解决方案。
  • 不需要数据迁移-只需将本地数据泵到云中并生成BI报告解决方案

基于我有限的知识和Google的研究,Azure数据工厂可满足我所有本地资源以及将来的云Azure SQL数据库。如果需要将来进行分析,可以将 Azure Storage Azure Databricks 添加到此体系结构中。我已经草拟了我提出的解决方案的体系结构。 Proposed Azure Architecture

确认我的理解

  1. 没有,没有Azure存储和数据块(2个粉红色框),这2个Azure组件(DF和SQL数据库)足以从本地源中获取数据,在云上处理并输出到Power中BI。
  2. 使用Azure Storage&Databricks(两个粉红色框),处理将更加高效,因为它们的汇总功能是存储培训数据模型并充当分析处理引擎。
  3. Azure SQL数据仓库相比,
  4. Azure SQL数据库更合适,因为我的数据源不超过1TB;成本方面更便宜,并且我的数据源之一包含来自呼叫中心的数据,因此OLTP更适合。另外,我还有Azure Databricks支持SQL数据仓库(OLAP)的分析功能。

任何其他可帮助我理解整个体系结构的评论都将很棒!

2 个答案:

答案 0 :(得分:0)

我是Azure的新手。我想知道我们是否具有@Query(value =“ ...”)类型或与DocumentDb(CosmosDB)等效的东西。因为,documentDB不使用@Query。我希望将sql查询(从jpa转换为cosmosDB)。

答案 1 :(得分:0)

从本地或IaaS源(例如VM,Oracle等上的SQL)获取数据需要Self-Hosted Integration Runtime(SHIR)。

请查看听起来像您所建议的Modern Data Warehouse模式。