将数据从Azure Data Lake移动到另一个ADL属于使用DataFactory的不同租户

时间:2017-06-07 11:51:10

标签: azure azure-data-factory azure-data-lake

我正在使用DataFactory将数据从Azure Data Lake移动到属于另一个订阅(租户)的另一个Azure Data Lake Store。 我在上传Sink Data Lake的LinkedService时遇到错误,如无效凭证, 那么我真的可能在做什么吗?如果是的话,请让我看一些参考。

2 个答案:

答案 0 :(得分:0)

您可以执行此操作。对于每个数据湖,您需要一个单独的服务主体,每个服务主体都与数据湖具有相同的订阅。然后,您可以使用每个服务主体创建到数据湖的两个独立连接。

您需要服务主体应用程序ID和密钥。

请注意,服务主体不仅需要访问您要复制的文件夹的权限,还需要访问数据湖的根文件夹的访问权限。我不知道它是否还要求对根目录与source / destination目录之间的所有目录具有访问权限。

还要注意,无论您是向该数据湖读取数据还是向其写入数据,服务主体也确实需要执行权限。

这不是一个完整的答案,而只是处理配置的服务主体方面以创建连接。那是给我最大的麻烦。

如果您觉得更多信息有用,请发表评论

答案 1 :(得分:-1)

如果您还没有阅读,请参阅https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-datalake-connector,搜索"服务主体认证(推荐)"。如果您已经,我假设错误是因为您没有为ADLS文件夹提供实体的适当权限。没有你看到的确切错误,不能说它是源或接收器。总之,您可以先提供有关上下文的更多详细信息,然后再提供您看到的错误吗?

谢谢, 萨钦谢思 项目经理, Azure Data Lake。