如何有选择地将 TEZ 设置为PIG作业的执行引擎?
我们可以在 pig.properties 中设置执行引擎,但它在群集中会影响群集的所有作业。
答案 0 :(得分:1)
如果这些工作是通过坦普尔顿提交的,那么它是可能的。
PowerShell使用示例
New-AzureHDInsightPigJobDefinition -Query $QueryString -StatusFolder $statusFolder -Arguments @("-x”, “tez")
CURL用法示例:
curl -s -d file=<file name> -d arg=-v -d arg=-x -d arg=tez 'https://<dnsname.azurehdinsight.net>/templeton/v1/pig?user.name=admin'
来源:http://blogs.msdn.com/b/tiny_bits/archive/2015/09/19/pig-tez-as-execution-at-job-level.aspx
答案 1 :(得分:0)
您可以将执行引擎作为参数传递,如下所示,对于mapreduce是mr,对于tez是tez。
pig -useHCatalog -Dexectype=mr -Dmapreduce.job.queuename=<queue name> -param_file dummy.param dummy.pig