我想知道是否有人在Azure Data Factory中动态调用数据集方面有任何经验。我们遇到的情况是,我们将IaaS(Azure VM上的本地SQL Server安装)应用程序系统中的所有表动态扫描到数据湖。我们希望有一个管道可以将服务器名称,数据库名称,用户名和密码传递给管道活动。然后,管道将清除告诉它们从参数读取的任何源。当前,源系统位于我们的企业协议中的单独订阅和域中。
我们已经研究过在通用SQL Server数据集上使用AutoResolveIntegrationRuntime,但是由于它是Azure,并且VM上的运行库是自托管的,因此它无法解析,并且会出现“无法连接”错误。所以,
i)我不知道如果它们位于相同的订阅和域中,这个问题是否还会消失?
这使得是否有人可以协助您
ii)一种获取动态运行时以解析其应使用的SQL Server运行时的方式(出于恢复目的,每个VM都有一个,但它们都能看到彼此的实例)。我们不想在特定VM上参数化链接服务,因为它会依赖该单个VM上的其他VM。
iii)能够对数据集进行参数化以调用运行时(在UI中看起来不太可能)。
iv)可以使用管道活动对源连接和接收器连接进行参数化,以调用数据集参数。
答案 0 :(得分:0)
服务器,数据库,表名可以通过使用参数来动态化。这里的关键问题是无法对ADF中的所有引用进行参数化,例如数据集中的链接服务引用,链接服务中的integrationRuntime引用。如果您没有太多的自托管IntegrationRuntime,也许您可以尝试为不同的网络设置不同的管道?