标签: hadoop mapreduce yarn hadoop2
我有一个带有DBInputSplit的自定义MR Scoop作业,它只是一个地图作业,并且配置了并行性,以便计算分割并启动那些数量的地图制作者,但是如果我不提供任何并行性,我就不会这样做。 ;我希望YARN中的AppMaster启动另一个容器并进行管理,而我希望将AppMaster用作容器本身,因为数据库连接是来自mapper的单线程。有没有可用于启用此属性的属性?
答案 0 :(得分:0)
通过启用Uber模式解决了这个问题,即mapreduce.job.ubertask.enable=true
mapreduce.job.ubertask.enable=true
更多详情here