获取HD Insight Cluster on Demand群集名称

Question

我已经在HD-Insight中创建了一个按需群集（使用Azure数据工厂）。因此，群集的名称为：前缀+时间戳。根据{{​​3}}，没有修复集群名称的新功能。

我想在Power Shell中以脚本形式在Azure Data Factory中提交Livy作业。但是为了做到这一点，我需要提供集群名称。存在任何可能获取集群的当前名称以便用于通过Livy提交作业。

Answer 1

我认为要求是获取按需集群名称，以便可以将集群名称传递给其他活动。我确实接触了一些内部团队，但据他们看来，目前看来这是不可能的。

Answer 2

我不确定你是否已经得到了你的解决方案，这是供其他人参考的。 无需获取集群名称，您可以在 ADF 中创建管道（使用按需 HDI 链接服务），然后将您的 jar/脚本存储在 Azure 存储中

您也可以使用 rest-api 触发管道

https://management.azure.com/subscriptions/{{sub_id}}/resourceGroups/{{resource_group_name}}/providers/Microsoft.DataFactory/factories/{{factory_name}}/pipelines/{{pipeline_name}}/createRun?api-version=2018-06-01

或者如果您仍然需要集群名称，

然后您可以编写自定义 Powershell（使用 Get-AzHDInsightCluster 以及字符串操作或 if-else）来打印确切的集群名称（您可以为集群添加前缀，以便于使用字符串操作）。您可以使用 ADF 中的自定义活动将其自动化

示例 Powershell 命令

(Get-AzHDInsightCluster|out-string) -split "`n" | select-string <Cluster Name Prefix> 

或、

 (Get-AzHDInsightCluster|out-string) -split "`n" | select-string -pattern "Name                       :" -caseSensitive