Azure数据工厂自动化脚本

Question

我正在开发一个使用Azure数据工厂的项目。我有一个要求，但不知道如何实现它。

要求：

源文件在Windows本地服务器（远程服务器）中生成。如果计数小于系统需要等待，我们需要检查源文件夹中的文件数。如果计数匹配，那么系统应该开始处理管道。

借助power shell脚本我可以实现这个目标吗？如果是，我如何在ADF流程中提及power shell脚本？

如果我们使用run book编写power shell脚本，如何在处理管道之前在ADF中调用它们？

Answer 1

Data Factory无法在内部执行脚本，因为这将是一个主要的安全问题。但是，您可以编写一个每分钟/小时在本地执行的脚本，并使用windows scheduler对其进行计划。该脚本将在文件夹中创建一个虚拟文件（例如＆＃34; ready.txt＆＃34;）。

然后，您可以创建一个包含两个连续活动和三个数据集的ADF管道：

D1 - ＆gt; A1 - ＆gt; D2 + D3 - ＆gt; A2

1. 第一个活动（A1）将取决于查找（并等待）该虚拟文件的数据集（D1）。此活动将生成虚拟数据集（D2）作为输出。
2. 第二个活动（A2）将取决于第二个虚拟数据集（D2）以及真实数据集（D3），它是包含要复制的文件的文件夹。

当您的脚本在本地创建＆＃34; ready.txt＆＃34;文件，这将触发A1，这将生成虚拟数据集D2，这反过来将触发A2，它将文件从您的文件夹在本地复制到您想要放置它们的任何位置。

我知道这听起来很复杂，但实际上非常简单。查看＆＃34;在序列中运行活动＆＃34;查看你需要的大部分JSON。