TEZ作为工作级别的执行

时间:2015-09-18 23:41:32

标签: hadoop apache-pig hdinsight

如何有选择地将 TEZ 设置为PIG作业的执行引擎?

我们可以在 pig.properties 中设置执行引擎,但它在群集中会影响群集的所有作业。

2 个答案:

答案 0 :(得分:1)

如果这些工作是通过坦普尔顿提交的,那么它是可能的。

PowerShell使用示例

New-AzureHDInsightPigJobDefinition -Query $QueryString -StatusFolder $statusFolder -Arguments @("-x”, “tez")

CURL用法示例:

curl -s -d file=<file name> -d arg=-v -d arg=-x -d arg=tez 'https://<dnsname.azurehdinsight.net>/templeton/v1/pig?user.name=admin'

来源:http://blogs.msdn.com/b/tiny_bits/archive/2015/09/19/pig-tez-as-execution-at-job-level.aspx

答案 1 :(得分:0)

您可以将执行引擎作为参数传递,如下所示,对于mapreduce是mr,对于tez是tez。 pig -useHCatalog -Dexectype=mr -Dmapreduce.job.queuename=<queue name> -param_file dummy.param dummy.pig