我是数据湖分析和使用USQL的新手。
我目前正在设置数据工厂管道,它将取代现有的SSIS工作流程。数据工厂管道基本上是
我设置了一个USQL项目,如果有一种标准的方式将它们部署到ADLA,而不仅仅是将脚本上传到商店中的文件夹。
答案 0 :(得分:2)
很棒的问题!
我不确定标准方式,甚至是一种可能被视为最佳实践的方式。但是我使用你提到的所有工具来执行非常类似的任务。
尝试回答您的问题:我所做的是在逻辑ADLA数据库中创建U-SQL脚本作为存储过程。在VS USQL项目中,每个存储过程都有1个脚本。然后ADF活动调用proc名称。这为您提供了服务之间正确的断开连接,也意味着您不需要为USQL文件提供额外的blob存储。
在我的VS解决方案中,我经常有一个PowerShell项目来帮助管理事物。特别是我的所有' usp _' U-SQL脚本用于创建一个可以部署到逻辑ADLA数据库的大型DDL样式。
然后,PowerShell使用提交作业cmdlet为我进行部署。示例如下。
Submit-AzureRmDataLakeAnalyticsJob `
-Name $JobName `
-AccountName $DLAnalytics `
–Script $USQLProcDeployAll `
-DegreeOfParallelism $DLAnalyticsDoP
希望这会让你引导。我也接受这些工具仍然相当新。对其他建议持开放态度。
干杯