Question

我正在尝试使用此项目中提供的jpmml级联库中的级联框架执行pmml模型 https://github.com/jpmml/jpmml-cascading

我已按照所有步骤操作，并能够使用mvn clean install命令生成 example-1.2-SNAPSHOT-job.jar 。

但是当我使用以下命令执行相同的jar时：

hadoop jar example-1.2-SNAPSHOT-job.jar /tmp/cascading/model.pmml file:///tmp/cascading/input.csv file:///tmp/cascading/output

由于默认无法在 DEFAULT 队列中提交作业，因此我无法例外我们的hadoop集群中的队列仅被阻止用于管理目的，普通用户无法在不提供队列名称的情况下运行hadoop作业。

Exception:
16/01/06 04:41:37 ERROR ipc.FailoverRPC: FailoverProxy: Failing this Call: submitJob for error(RemoteException): org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): **User test cannot perform operation SUBMIT_JOB on queue default.**
 Please run "hadoop queue -showacls" command to find the queues you have access to .
    at org.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:179)
    at org.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:136)
    at org.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:113)
    at org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:4524)
    at sun.reflect.GeneratedMethodAccessor17.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.ipc.WritableRpcEngine$Server$WritableRpcInvoker.call(WritableRpcEngine.java:481)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2000)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1996)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1566)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1994)

我无法看到在存储库中提供hadoop作业队列的位置。

有人可以建议我如何传递hadoop作业队列名称？

注意：

我试图传递属性mapred.job.queue.name传递队列名称但仍然通过命令行显示相同的错误   并在代码本身。



我还尝试使用oozie shell动作节点运行作业，并在应用程序工作流程中传递队列名称，但我相信   这将适用于oozie工作，而不是hadoop工作   它通过shell动作节点执行。

Answer 1

您使用的设置错误。您应该使用 Hadoop 2.x 的设置。

以下配置属性（存在于mapred-site.xml中）控制对作业队列的提交。

Hadoop 1.x

mapred.acls.enabled：是否应启用ACL检查以在执行队列操作时检查用户的权限。默认设置为false。
mapred.job.queue.name：提交作业的队列。默认值为default。

Hadoop 2.x

mapreduce.cluster.acls.enabled：是否应启用ACL检查以在执行队列操作时检查用户的权限。默认设置为false。
mapreduce.job.queuename：提交作业的队列。默认值为default。

您可以通过不同方式设置这些值：

在运行作业时，在命令行中使用-D选项。对于例如您可以将其作为-Dmapreduce.job.queuename=default传递。

在作业的Driver中设置它（Hadoop 2.x）：

Configuration conf = new Configuration();
conf.set("mapreduce.job.queuename", "default");
Job job = Job.getInstance(conf, "JobName");

将其设置在群集的mapred-site.xml文件中。

如何在jpmml级联中传递Hadoop作业队列名？

1 个答案: