在Azure数据工厂v1活动中指定非默认YARN队列

Question

我们有一个带有HDInsightHive类型活动的ADFv1管道，该活动将hive脚本提交到Hadoop HDIndight集群。查看管道的JSON，似乎没有任何方法可以指定作业应提交到的YARN队列。

因此，假定始终将作业提交到默认队列。我没有在ADFv1文档中找到任何东西来指定队列名称（假设我们实际上使用容量调度程序在群集上创建了更多YARN队列）。

如果可以的话，有人可以提供示例JSON来指定活动中的YARN队列吗？另外，我的要求专门针对ADFv1，我还想知道这是否是ADFv1的限制，是否已在ADFv2中修复？

Answer 1

当前，Azure Data Factory不支持将活动提交到特定队列。

Azure Data Factory活动始终提交到默认队列。

我建议您投票赞成另一位Azure客户提交的想法。

https://feedback.azure.com/forums/270578-data-factory/suggestions/32956186-hdinsightspark-activity-should-support-additional

您在这些论坛中分享的所有反馈将由负责构建Azure的Microsoft工程团队监视和审查。