我正在oozie上运行mapreduce wordcount作业任务。 2个作业被提交给纱线,然后运行高达99%的监控任务被卡住了。 Wordcount作业已为0%。
当我杀掉监视工作时,wordcount工作顺利进行。
我使用3个虚拟机的集群,配置如下:
Profile per VM: cores=2 memory=2048MB reserved=0GB usableMem=0GB disks=1
Num Container=3
Container Ram=640MB
Used Ram=1GB
Unused Ram=0GB
yarn.scheduler.minimum-allocation-mb=640
yarn.scheduler.maximum-allocation-mb=1920
yarn.nodemanager.resource.memory-mb=1920
mapreduce.map.memory.mb=640
mapreduce.map.java.opts=-Xmx512m
mapreduce.reduce.memory.mb=1280
mapreduce.reduce.java.opts=-Xmx1024m
yarn.app.mapreduce.am.resource.mb=640
yarn.app.mapreduce.am.command-opts=-Xmx512m
mapreduce.task.io.sort.mb=256
有没有办法解决这个问题,让两个工作顺利进行并同时完成?