Azure批量支持Data Lake Store链接服务

时间:2017-04-11 13:21:04

标签: azure-data-factory azure-data-lake azure-batch

我正在使用具有自定义活动(配置为在Azure Batch上运行)的数据工厂管道,该自定义活动具有数据存储库输入数据集和输出数据集。数据湖存储链接服务正在使用服务来授权auth(服务主体),并且通过复制向导在复制活动中使用时工作正常。但是当与尝试检查数据湖中是否存在文件的自定义活动一起使用时,活动将失败并显示错误"需要授权"。使用Azure Blob Store作为输入和输出数据集时,相同的自定义活动可以正常工作。

似乎Azure Batch(计算节点)无法授权Data Lake Store的问题。如果你已经解决了上述问题,请帮忙。

1 个答案:

答案 0 :(得分:2)

大约3个星期前,我有同样的问题。我感觉到你的痛苦!

这是微软的错误!

经过大量试验和错误以及重新部署后,我向微软提出了一张支持票,证明数据湖商店的服务主体认证目前仅适用于复制活动。 自定义活动。

这是我4月10日星期一得到的官方回应。

  

问题发生的原因是自定义活动的连接器存在错误   架构与最新发布的连接器架构不匹配。其实,   我们注意到自定义活动的问题,并计划修复&部署   在接下来的两周内推出。

请注意,如果您将链接服务更改为使用会话令牌等,则还需要重新部署包含自定义活动的管道。否则,您将收到类似以下内容的其他错误...

  

禁止访问,请检查凭据然后重试。码:   ' AuthenticationFailed'消息:'服务器无法验证   请求。确保形成Authorization标头的值   正确地包括签名。

希望这有帮助。