将数据从本地DW迁移到Azure

时间:2015-08-18 20:28:41

标签: azure azure-sql-database data-warehouse azure-sqldw

我有一个使用SQL Server的本地Dat Warehouse,将数据加载到SQL数据仓库的最佳方法是什么?

2 个答案:

答案 0 :(得分:3)

加载数据的过程取决于数据量。对于非常小的数据集(<100 GB),您只需使用批量复制命令行实用程序(bcp.exe)从SQL Server导出数据,然后导入到Azure SQL数据仓库。对于大于100 GB的数据集,可以使用bcp.exe导出数据,使用AzCopy之类的工具将数据移动到Azure Blob存储,创建外部表(通过TSQL代码),然后将数据拉入通过Create Table As Select (CTAS)声明。

使用PolyBase / CTAS路由将允许您利用Azure SQL数据仓库(基于MPP的系统)中的多个计算节点和数据处理的并行特性。这将极大地改善数据提取性能,因为每个计算节点能够与其他节点并行处理数据块。

还有一个考虑因素是在CTAS语句时增加SQL数据仓库中可用的DWU(计算资源)的数量。这将增加计算资源的数量,增加额外的并行性,这将减少总的摄取时间。

答案 1 :(得分:0)

SQL数据库迁移向导是将架构和数据从内部部署数据库迁移到Azure sql数据库的有用工具。 http://sqlazuremw.codeplex.com/