我正在使用具有自定义活动(配置为在Azure Batch上运行)的数据工厂管道,该自定义活动具有数据存储库输入数据集和输出数据集。数据湖存储链接服务正在使用服务来授权auth(服务主体),并且通过复制向导在复制活动中使用时工作正常。但是当与尝试检查数据湖中是否存在文件的自定义活动一起使用时,活动将失败并显示错误"需要授权"。使用Azure Blob Store作为输入和输出数据集时,相同的自定义活动可以正常工作。
似乎Azure Batch(计算节点)无法授权Data Lake Store的问题。如果你已经解决了上述问题,请帮忙。
答案 0 :(得分:2)
大约3个星期前,我有同样的问题。我感觉到你的痛苦!
这是微软的错误!
经过大量试验和错误以及重新部署后,我向微软提出了一张支持票,证明数据湖商店的服务主体认证目前仅适用于复制活动。 不自定义活动。
这是我4月10日星期一得到的官方回应。
问题发生的原因是自定义活动的连接器存在错误 架构与最新发布的连接器架构不匹配。其实, 我们注意到自定义活动的问题,并计划修复&部署 在接下来的两周内推出。
请注意,如果您将链接服务更改为使用会话令牌等,则还需要重新部署包含自定义活动的管道。否则,您将收到类似以下内容的其他错误...
禁止访问,请检查凭据然后重试。码: ' AuthenticationFailed'消息:'服务器无法验证 请求。确保形成Authorization标头的值 正确地包括签名。
希望这有帮助。