在Azure数据工厂

Question

使用HDInsight群集为Azure数据工厂中的自定义活动运行管道的建议方法是什么。我们是否可以将单个HDInsght群集用于多个Azure数据工厂作业以及同时运行多个管道？

Answer 1

如果您指的是使用Azure Data Factory运行自定义.NET活动，则可以像HDInsight活动一样运行它，只需标记为自定义活动并链接到blob存储中的.NET DLL zip文件。运行Azure Batch也是一种选择，因为.NET运行良好，Azure Batch更便宜（如果自定义活动是拥有HDInsight集群的唯一原因）。

您可以使用单个HDInsight群集来运行多个数据工厂作业，包括多个并行管道。但是，请记住，根据您的并行作业（数量，大小等）和群集配置，您可能会使群集的资源过载。