Azure数据工厂:访问虚拟网络中的Web服务

时间:2019-09-16 14:53:23

标签: azure azure-data-factory azure-data-factory-2

我的数据工厂(v2)管道需要调用驻留在部署到Azure的虚拟网络中的REST服务。这是一个专用网络,不面向公众。

似乎有2个选项:

  1. 网络活动:documentation提到它仅适用于公共URL
  2. Web Hook:文档没有提及任何此类限制,因此大概可以支持私有访问(?)

但是,当我尝试从Web Hook调用URL时,它会失败,并显示Bad Request和其他详细信息。

我强烈怀疑这与从Data Factory访问专用网络有关,尽管我不确定是否可以确定。该请求肯定没有到达我的REST服务,因此403不是来自那里。

因此,我有2个问题:

  1. Data Factory Web Hook是否可以访问专用虚拟网络
  2. 有什么方法可以使更多有关Web Hook正在执行的操作的日志记录吗?

1 个答案:

答案 0 :(得分:3)

  

Data Factory Web Hook是否可以访问专用虚拟网络?

不幸的是,没有包装。数据工厂的工作方式是通过调用自动解析集成运行时上的pipelie活动来进行的,简而言之就是MS为您提供的小型VM,用于运行任务。该VM未连接到任何VNet,因此无法访问您的内部资源。

您需要使用自托管集成运行时。本质上是在虚拟机上运行的数据工厂代理中。这可以成为您的VNet的一部分。然后,数据工厂将通过该VM代理所有请求。

enter image description here

虽然无法通过HTTP调用Web操作,但是您可以使用在该自托管集成运行时中托管的HTTP链接服务,通过HTTP数据集的Lookup操作来欺骗它。我为您做了快速演示,并使用受防火墙保护的BLOB(仅接受VNet流量)对其进行了测试。

链接的服务

enter image description here

http数据集

enter image description here

查找设置

enter image description here

enter image description here

  

有什么办法可以使更多有关Web Hook正在执行的操作的日志记录?

您可以尝试启用诊断设置,但我从未检查过将获得哪种日志。

enter image description here