Azure SQL数据仓库提取是否存在带宽限制或限制?是否有任何连接字符串设置可以优化我们通过SELECT查询提取数据的速度?
在与SQL DW相同的Azure区域中的VM上的SSIS中,如果我运行SELECT *查询以使用默认连接字符串(默认数据包大小)通过OLEDB提取数百万行,我看到它使用大约55Mbps带宽。如果我添加数据包大小= 32767我看到它使用大约125Mbps带宽。有没有办法让它变得更快?是否有其他连接字符串设置需要注意?
顺便说一句,如果我并行运行多个提取,我可以从SQL DW获得大约500Mbps的带宽。但我不能总是将一个查询分成几个并行查询。有时我只需要一个查询来更快地提取数据。
当然,Polybase CETAS(CREATE EXTERNAL TABLE AS SELECT)在提取数据方面效率更高。但这并不适合所有提取场景。例如,如果我想将Analysis Services放在Azure SQL DW之上,我在多维数据集处理过程中无法真正涉及CETAS语句,因此Polybase对我没有帮助。
答案 0 :(得分:2)
目前,您最好的选择是并行运行多个数据提取,如您所述优化数据包大小。对于SQLDW之上的SSAS,最好的选择是使用并行分区处理。