在Data Factory中使用Data Lake Analytics链接服务服务主体身份验证

时间:2018-01-08 11:40:16

标签: azure azure-data-factory azure-data-lake

尝试使用Azure Data Lake Analytics链接服务将计算节点添加到ADF(v1),以创建一些简单的u-sql作业。 Data Lake Store Linked Service已经到位,并且正在使用服务原则认证,但我无法使用servicePrincipalId和Key部署ADLA链接服务。

根据这篇文章,ADLA Linked Service现在支持服务原则认证: https://docs.microsoft.com/en-us/azure/data-factory/v1/data-factory-usql-activity#azure-data-lake-analytics-linked-service

intellisense告诉我参数无效并坚持用户凭证。这是一个截图:

ADF Portal Editor ADLA-ls

(视觉工作室数据工厂项目btw中的相同警告。)

当我使用SPN进行部署时,我收到错误"实体配置失败:内部服务器错误"。

是否有人成功使用服务原则auth与ADLA链接服务?

2 个答案:

答案 0 :(得分:1)

使用以下设置对我有用:

{
  "name": "datalakeanalyticsinstanceLinkedService",
  "properties": {
    "type": "AzureDataLakeAnalytics",
    "typeProperties": {
      "accountName": "datalakeanalyticsinstance",
      "servicePrincipalId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx",
      "servicePrincipalKey": "abcdefghijklmopqrstuvwxyz123456780",
      "tenant": "mytenant.onmicrosoft.com"
    }
  }
}

还要确保您已从Data Lake Analytics运行“添加用户向导”。使用此向导,我将服务主体添加为具有R + W权限的所有者。

编辑:DELETE刚刚发布,其中包含有关Serivce Principal身份验证的许多详细信息

答案 1 :(得分:1)

经过几周的挫折之后,这个问题突然解决了。

如同@Simon建议的那样,通过ADLA的“添加用户向导”添加SP肯定是任何数据湖相关管道的必需品。 除此之外@Paul's blog清楚地解释了这个过程。

我的管道突然在午夜开始工作并且从那时起没有失败的事实让我觉得ADF最近修复了一些错误。因此,在ADFv2完全成为GA之前,我建议一遍又一遍地部署链接服务,或者更好(更令人沮丧)从头开始部署新的管道和服务。