如何使用Data Factory中的脚本操作创建HDInsightOnDemand LinkedService？

Question

我们正在创建一个运行pySpark作业的DataFactory，它使用HDInsight on demand集群。

问题是我们需要使用额外的python依赖项来运行这个未安装的作业，例如numpy。

我们认为这样做的方法是为HDInsightOnDemandLinkedService配置脚本操作，但我们无法在DataFactory或LikedServices上找到此选项。

是否可以自动安装依赖项的HDInsightOnDemand？

Answer 1

目前不支持HDInsightOnDemandLinkedService的脚本操作。您可以使用Azure自动化运行执行以下操作的PowerShell脚本：

1. 创建HDInsight群集
2. 执行脚本操作
3. 在您的DataFactory中运行管道
4. 删除群集。