部署USQL项目

时间:2017-09-15 20:42:01

标签: azure-data-lake azure-data-factory u-sql

我是数据湖分析和使用USQL的新手。

我目前正在设置数据工厂管道,它将取代现有的SSIS工作流程。数据工厂管道基本上是

  1. 将数据交易数据库提取到ADLS
  2. 使用USQL转换原始实体
  3. 使用自定义活动
  4. 将数据加载到SSAS中

    问题

    我设置了一个USQL项目,如果有一种标准的方式将它们部署到ADLA,而不仅仅是将脚本上传到商店中的文件夹。

1 个答案:

答案 0 :(得分:2)

很棒的问题!

我不确定标准方式,甚至是一种可能被视为最佳实践的方式。但是我使用你提到的所有工具来执行非常类似的任务。

尝试回答您的问题:我所做的是在逻辑ADLA数据库中创建U-SQL脚本作为存储过程。在VS USQL项目中,每个存储过程都有1个脚本。然后ADF活动调用proc名称。这为您提供了服务之间正确的断开连接,也意味着您不需要为USQL文件提供额外的blob存储。

在我的VS解决方案中,我经常有一个PowerShell项目来帮助管理事物。特别是我的所有' usp _' U-SQL脚本用于创建一个可以部署到逻辑ADLA数据库的大型DDL样式。

然后,PowerShell使用提交作业cmdlet为我进行部署。示例如下。

Submit-AzureRmDataLakeAnalyticsJob `
        -Name $JobName `
        -AccountName $DLAnalytics `
        –Script $USQLProcDeployAll `
        -DegreeOfParallelism $DLAnalyticsDoP

希望这会让你引导。我也接受这些工具仍然相当新。对其他建议持开放态度。

干杯