Data Lake Sink上的Data Factory V2错误代码2200

时间:2018-12-13 13:01:54

标签: azure azure-data-lake azure-data-factory-2

我将以下内容用作研讨会https://www.youtube.com/watch吗? v = IAqJ6nCDtGc

我在Azure SQL数据库(而不是本地数据库)中有一些销售数据

我有一个数据湖Gen Storage 1,我已经成功设置了连接器和数据集。每个连接器均已测试正常

创建Azure Data Lake创建一个应用程序注册,以获取我所需的主体ID和主体密钥的信息

我已经根据上述视频创建了具有复制活动的管道

运行时,我得到以下信息

{“ errorCode”:“ 2200”,“消息”:“失败发生在'接收器'端。失败,状态代码为“ BadRequest”,请求ID为“。\ r \ nBad Request \ r \ n \ r \ n

Bad Request-URL URL

\ r \ n < hr />

HTTP错误400.请求URL无效。

\ r \ n \ r \ n,Source = Microsoft.DataTransfer.ClientLibrary,''Type = System.Net.WebException,Message = The远程服务器返回错误:(400)错误的请求。,Source = System,'“,” failureType“:” UserError“,” target“:”将销售数据复制到数据湖“}

我已经检查了数据湖连接器中的URL,这似乎很好

“ dataLakeStoreUri”:“ https://.azuredatalakestore.net/webhdfs/v1”,

我能想到的唯一另一个URL是在登录URL上注册应用程序时设置的URL。

https://docs.microsoft.com/en-us/azure/active-directory/develop/howto-create-service-principal-portal

如果有人可以提供帮助,将不胜感激。

黛比

2 个答案:

答案 0 :(得分:0)

一些想法。

您是否可以将帐户uri设置为“ https:// << strong> 您的ADL端点名称 >。azuredatalakestore.net/webhdfs/v1”?上面您有“ .azuredatalakestore.net / webhdfs / v1 ”,但请注意,出于隐私考虑,您可能已删除了本文中的端点。

关于ADL权限,您是否已通过ADL中的数据浏览器分配了权限?我相信服务主体需要对根文件夹和所需路径中的所有文件夹具有执行权限,并且需要对将要写入的任何子文件夹进行读/写。即如果我正在写\ foo \ bar.txt

\       permissions needed = x
foo     permissions needed = x
bar.txt permissions needed = rw

有关详细信息,请参见here

最后,文件夹区分大小写,因此请检查它们是否被正确引用。

希望这会有所帮助。 标记。

答案 1 :(得分:0)

找出问题所在。

我已经为数据Lake设置了动态文件路径,因此该文件将被放置在Year / Month / Day文件夹中,但这导致了上述问题。一旦我删除了该路径,然后将其运行到数据湖中,它就起作用了。

我使用的文件路径来自此u-tube如何指导

uhttps://www.youtube.com/watch?v = IAqJ6nCDtGc

我仍然需要弄清楚如何做,但是至少我可以将文件放入数据湖