Azure分析架构或实施技巧

时间:2018-11-18 13:49:32

标签: sql-server azure ssis azure-devops powerbi

我在斯堪的那维亚的一家IT公司工作,该公司正在为水产养殖业开发软件解决方案。目前,我们正在使用最新的Azure技术开发新的解决方案,但我们的许多软件应用程序仍将基于部署在客户内部平台上的高级解决方案。新的天蓝色系统将从传感器收集数据,并使用手持系统(垫)作为前端,使用Azure宇宙等数据存储。

作为商业智能开发人员/架构师,我使用传统的实现方式(例如SSIS,SSAS表格,本地),基于内部平台上的数据,创建了天蓝色分析服务(AAS)和power bi报告的第一版。数据网关。其他开发人员团队正在使用Angular和C#和天蓝色的宇宙,它们非常适合Azure团队上的持续集成和交付策略。

我的问题和需要帮助的地方是实现这两个世界的“最佳”架构,为此选择最佳工具。到目前为止,我已经开发了数据仓库和登台数据库以及使AAS和power bi报告正常工作所需的所有SSIS作业。但是我不满意。

我觉得SSIS在许多方面都已过时,也许不适合我们天蓝色地运行的所有需求。但是SSIS也具有许多优势,就像所有的转换可能性一样,我已经开发了许多软件包。但是最重​​要的是要有一个能够同时满足这两个要求的解决方案:从旧系统和新系统中提取数据以进行分析。表格形式的Power BI服务和Analysis Services(使用dax)将成为任何解决方案的一部分。但是我应该使用数据湖从所有系统中进行登台并从中进行提取。即使数据转换的可能性仍然有限,我还是应该使用Azure数据工厂吗?关于azure的增量负载呢?请注意,prem数据库通常是SQL 2008R2直到SQL2014。关于azure的负载轮又如何?

我们公司希望所有解决方案都应天衣无缝,并支持CI / CD策略

所以

  1. 根据基于prem sql服务器数据库(可以是2008R2及更高版本)和azure存储(例如azure cosmos,blob存储或跟踪流分析数据)中的数据来实施分析系统的最佳建议是什么?
  2. 您知道一些可以指导我完成这种架构或实现的文章/视频吗?

谢谢

关于盖尔

0 个答案:

没有答案