Hive查询失败并显示错误此作业31497的任务数超过配置的限制30000

时间:2013-10-04 01:12:21

标签: hadoop hive

我正在一个有2250个分区的表上运行一个配置单元查询,我收到了这个错误,我不确定它超出了哪些任务,我该如何解决这个问题。谢谢,

Hive历史文件= / tmp / hadoop / hive_job_log_hadoop_201310040052_1692176679.txt 总MapReduce工作= 2 从2开始工作1 未指定的reduce任务数。根据输入数据大小估算:10 为了更改reducer的平均负载(以字节为单位):   设置hive.exec.reducers.bytes.per.reducer = 为了限制减速器的最大数量:   设置hive.exec.reducers.max = 为了设置恒定数量的减速器:   设置mapred.reduce.tasks = org.apache.hadoop.ipc.RemoteException:java.io.IOException:java.io.IOException:此作业31497的任务数超过配置的限制30000     在org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:3943)     at sun.reflect.GeneratedMethodAccessor19.invoke(Unknown Source)     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)     在java.lang.reflect.Method.invoke(Method.java:601)     在org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:563)     在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:1388)     在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:1384)     at java.security.AccessController.doPrivileged(Native Method)     在javax.security.auth.Subject.doAs(Subject.java:415)     在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)     在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:1382) 引发者:java.io.IOException:此作业31497的任务数超过配置的限制30000     at org.apache.hadoop.mapred.JobInProgress.checkTaskLimits(JobInProgress.java:509)     在org.apache.hadoop.mapred.JobInProgress。(JobInProgress.java:485)     在org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:3941)     ......还有10个

1 个答案:

答案 0 :(得分:1)

mapred-site.xml 中添加 mapred.jobtracker.maxtasks.per.job 属性,并将其设置为高于31497的值或您的要求。在进行更改后重新启动守护进程。