我正在一个有2250个分区的表上运行一个配置单元查询,我收到了这个错误,我不确定它超出了哪些任务,我该如何解决这个问题。谢谢,
Hive历史文件= / tmp / hadoop / hive_job_log_hadoop_201310040052_1692176679.txt 总MapReduce工作= 2 从2开始工作1 未指定的reduce任务数。根据输入数据大小估算:10 为了更改reducer的平均负载(以字节为单位): 设置hive.exec.reducers.bytes.per.reducer = 为了限制减速器的最大数量: 设置hive.exec.reducers.max = 为了设置恒定数量的减速器: 设置mapred.reduce.tasks = org.apache.hadoop.ipc.RemoteException:java.io.IOException:java.io.IOException:此作业31497的任务数超过配置的限制30000 在org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:3943) at sun.reflect.GeneratedMethodAccessor19.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在java.lang.reflect.Method.invoke(Method.java:601) 在org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:563) 在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:1388) 在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:1384) at java.security.AccessController.doPrivileged(Native Method) 在javax.security.auth.Subject.doAs(Subject.java:415) 在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093) 在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:1382) 引发者:java.io.IOException:此作业31497的任务数超过配置的限制30000 at org.apache.hadoop.mapred.JobInProgress.checkTaskLimits(JobInProgress.java:509) 在org.apache.hadoop.mapred.JobInProgress。(JobInProgress.java:485) 在org.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:3941) ......还有10个
答案 0 :(得分:1)
在 mapred-site.xml 中添加 mapred.jobtracker.maxtasks.per.job 属性,并将其设置为高于31497的值或您的要求。在进行更改后重新启动守护进程。