使用Azure Data Factory配置问题复制文件共享中的文件

时间:2018-11-14 12:26:01

标签: azure azure-storage azure-data-factory

我正在尝试学习使用Azure数据工厂将数据(文件夹结构中的一组csv文件)从Azure文件共享复制到Cosmos数据库实例。

在Azure数据工厂中,我正在创建“复制数据”活动,并尝试使用以下主机将文件共享设置为源:

mystorageaccount.file.core.windows.net\\mystoragefilesharename

尝试测试连接时,出现以下错误:

[{"code":9059,"message":"File path 'E:\\approot\\mscissstorage.file.core.windows.net\\mystoragefilesharename' is not supported. Check the configuration to make sure the path is valid."}]

我应该将数据移动到其他存储类型(如Blob)还是输入的主机URL不正确?

3 个答案:

答案 0 :(得分:2)

如果您直接使用JSON创建管道,则需要在json文件中指定主机,例如“ \\ myserver \ share”,如果使用的话,则需要设置主机网址,例如“ \\ myserver \ share”用于设置管道的用户界面。

更多信息: https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system#sample-linked-service-and-dataset-definitions

答案 1 :(得分:1)

我相信在创建文件链接服务时,您可以选择公共IR。如果您选择公共IR,则不允许使用本地路径(例如c:\ xxx,D:\ xxx),因为运行您的作业的计算机由我们管理,其中不包含任何客户数据。请使用自托管的IR复制您的本地文件。

答案 2 :(得分:0)

基于Nicolas Zhang发布的链接:https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system#sample-linked-service-and-dataset-definitions以及其中提供的示例,我能够解决该问题并成功创建了复制动作。我遇到两个错误(我是通过数据工厂用户界面而不是直接通过JSON进行配置):

  1. 在主机路径中,正确的路径应为:\\mystorageaccount.file.core.windows.net\mystoragefilesharename\myfolderpath
  2. 用户名和密码必须是与存储帐户相对应的密码,而不是与我错误使用的实际用户帐户相对应的密码。