从SQL Server Polybase访问Azure Data Lake Analytics表

时间:2018-03-19 21:56:02

标签: sql azure azure-data-lake u-sql sql-data-warehouse

我需要将通过Azure Data Lake Analytics(ADLA)处理的多TB数据集导出到SQL Server数据库中。

根据我目前的研究,我知道我可以使用内置输出器将(ADLA)输出的结果写入Data Lake商店或WASB,然后使用Polybase从SQL服务器读取输出数据。

但是,将ADLA处理结果创建为ADLA表似乎对我们非常有吸引力。它是一个干净的解决方案(没有要管理的文件),多个读取器,内置分区,分发键以及允许其他进程访问表的可能性。

如果我们使用ADLA表,我可以通过SQL Polybase访问ADLA表吗?如果没有,有没有办法直接从Polybase访问ADLA表底层的文件?

我知道我可以使用ADF来做到这一点,但此时我想尽可能避免使用ADF - 以最大限度地降低成本,并保持流程简单。

1 个答案:

答案 0 :(得分:3)

不幸的是,Polybase对ADLA Tables的支持仍然在路线图上,尚未提供。请通过SQL Data Warehouse User voice page提交功能请求。

建议的解决方法是在ADLA中以Csv形式生成信息,然后在SQL DW中创建分区和分布式表,并使用Polybase读取数据并填充SQL DW托管表。