使用SSIS转换数据并将其上载到Azure数据仓库的逻辑方法

时间:2017-11-29 20:52:10

标签: sql-server azure ssis azure-data-factory

我目前的型号如下:

  
      
  1. 收集不同的数据源并导入SQL Server。
  2.   
  3. 使用SSIS包处理和转换数据。
  4.   
  5. SSIS包中的最后一步将数据上传到数据仓库。
  6.   
  7. BI工具从最终用户的数据仓库中提取数据。
  8.   

这是一个合乎逻辑的工作流程吗?我最初打算使用数据工厂和Azure SSIS集成运行时来处理数据。但是我不明白为什么需要这些步骤,因为在我的情况下,只是在内部构建我的SSIS包并将处理后的数据上传到我的数据仓库似乎更简单。使用数据工厂和集成运行时可以获得哪些好处?我主要担心的是,我目前的模型会让自动化变得困难,但我并不完全确定。任何帮助表示赞赏。

1 个答案:

答案 0 :(得分:1)

这里可能的路径是SSIS,云中的VM上的SSIS,ADF中的SSIS,或者在ADF中本地构建管道。

ADF是一种用于数据移动和数据集成编排的Azure Cloud PaaS托管服务。要重新访问本地数据源,您需要在源端使用Integration Runtime网关。因此,如果您希望迁移到Cloud-first架构或迁移到Azure,ADF是一个很好的解决方案(使用V2)。

如果您在本地保留所有本地SSIS是最佳方案。

如果这是混合版本,您将继续在云中部署一些数据并在云中加载Azure数据仓库,那么您仍然可以使用SSIS作为目标,将ADIS连接器作为目标。或者,如果必须消除本地服务器概念,则可以在Azure中的VM中运行该SSIS。

如果要同时消除数据中心服务器以及修补,维护等SSIS服务器的需要,请在ADF中使用SSIS,它提供SSIS即服务。在这种情况下,您仍然可以以混合方式移动数据。

它真的取决于诸如您是否更喜欢在Visual Studio中开发SSIS作业,或者您是否想在ADF中使用JSON构建管道?您是否有计划或需要迁移到云?您想迁移到云管理服务(即ADF V2)吗?

我希望有所帮助!!