Azure数据工厂管道编排框架

Question

我大约有9个源系统（基于本地/基于云）。

1. 对于每个初始负载和增量负载，每个源系统都必须终止于Data Lake的Raw区域。
2. 但是很少有人会经过标准化区域，然后到达登台（SQL表），最终 由Raw Vault（Data Vault 2.0）处理消耗。
3. 从原始区域到暂存（SQL表）的其余部分将直接出现

我们完成了所有管道，以从源=>原始区域=>标准化区域=>暂存中移动数据。

现在我正在研究ADF Orchestration Framework，在这里我应该能够根据元数据/下一个要运行的有效管道来动态执行管道。

使用Execute Pipleline，无法动态指定要执行的管道。

什么是Logic App / Azure函数的最佳选择。

我想动态传递管道名称。

Answer 1

如果没有太多的管道可以直接指向，则可以在管道中使用Switch activity来基于元数据针对不同的情况运行不同的管道。