使用Azure数据工厂(ADF)数据流(DF)从/到Azure Data Lake Store gen1的源数据和接收器数据

时间:2019-06-03 15:39:44

标签: azure-data-factory dataflow azure-data-factory-2

我有一个Azure Data Lake Store第1代(ADLS-1)和一个带有数据流(DF)的Azure数据工厂(ADF)(V2)。当我在ADF中创建新的DF并在源和/或接收节点中选择ADLS-1的数据集时,出现以下验证错误(在DF中):

source1 AzureDataLakeStore does not support MSI authentication in Data Flow.

这是否意味着我不能将DF与ADLS-1一起使用,或者这是某种身份验证问题?

我尝试过的事情清单:

  • 我已为ADF资源赋予了ADLS-1的访问控制(IAM)中的所有者角色
  • 我已向ADF资源授予了数据集的ADLS-1文件夹中的所有(读取,写入等)权限
  • 我可以在ADF管道中(因此在DF外部)在ADLS-1之间来回复制数据
  • 我可以在DF的源节点和宿节点中为ADLS-2(第2代)的数据集选择数据集(因此在这里我没有得到错误)
  • 我可以创建一个管道,该管道首先将数据集从ADLS-1复制到ADLS-2,然后用DF处理(然后复制回去)。此解决方法非常繁琐,并且我暂时没有生产ADLS-2。
  • here说,ADLS-1支持的功能包括映射数据流(DF)。

如果有人知道将DF与ADLS-1结合使用的方法或排除其功能将非常有帮助。

1 个答案:

答案 0 :(得分:2)

ADF中的映射数据流目前尚不支持MSI身份验证。