使用azure数据工厂从http网站解压缩多个文件

时间:2018-11-28 17:07:21

标签: azure zip unzip azure-data-factory azure-data-factory-2

我已经在ADF中设置了“ http文件”数据源,以连接到特定的URL(https://www.sos.wa.gov/_assets/corps/txtCorpsData.zip),该URL指向包含4个单独的.txt文件的ZIP文件。

该服务成功连接并解压缩文件,但仅读取ZIP存档中的第一个文件。如何将来源分成4个不同的单独来源?我猜我需要使用一些参数,但是不确定是什么。

这是连接详细信息的屏幕截图: connection detail

2 个答案:

答案 0 :(得分:0)

我想我已经知道了,有点: 使用指向“ Http文件”作为源的“复制数据”任务。      然后,该“ Http文件”源将我的问题的URL视为链接服务,该源还展开了ZIP。 在“复制数据”任务中,接收器是Blob连接。

当我运行此任务时,它将ZIP文件放到Blob连接路径下的新文件夹中。这提出了一个我正在处理的新问题,即新文件夹的创建似乎与运行管道的GUID无关,我需要以某种方式找出一种指定文件夹名称的方法,以便保持一致。 。稍后我可能会发布另一个问题。

答案 1 :(得分:0)

在接收器设置中将复制行为设置为无,这样就可以保留文件名 enter image description here