Azure数据工厂-动态复制数据

Question

我希望使用azure数据工厂对一堆SQL查询运行。我针对的场景是这样的：

1. 预处理器会使用HANA查询生成许多（100多个）sql文件以进行提取。这些可以针对SAP HANA运行，每个生产都会保存输出。我有一个可以执行此操作的应用程序，它可以正常工作。
2. 我希望将其移至Azure数据工厂，因为如果从Azure运行，则它需要经过Azure自托管集成运行时。换句话说，如果在云上运行，则唯一的选择是ADF SAP HANA连接器（它支持“复制数据”活动）。
3. 理想情况下，我可以将某物指向一个sql文件列表，执行每个文件，然后分别存储结果。如果我能以某种方式将其连接到笔记本或自定义活动，那就足够了。这可能吗？

实现此目标的最佳方法是什么？我想我可以以编程方式生成100多个副本数据活动，但这似乎很繁琐，如果以后需要更多文件，我将更改管道定义。

Answer 1

在这种情况下，我建议使用sqoop。大约三年前，我确实使用Apache Sqoop将SAP HANA数据移动到Azure Blob，并且像薄荷糖一样工作。