当输入文件小于map节点时，hadoop调度程序如何工作

Question

在我的情况下，我需要知道我是否在Jobcontrol中有2个作业，然后我有200个地图节点，我的块大小为64 MB，因此完整的处理数据应为（64 * 200 = 12.8GB），但第一个作业大小为10 GB如果映射节点有空插槽怎么办？ Hadoop将处理队列中的第二个作业或等到第一个作业地图缩小完成并处理第二个作业或其他方式请建议

Answer 1

如果您正在使用Hadoop的FIFO调度程序并以同一用户身份运行2个作业，那么只有在运行第一个作业时有足够的可用Map / Reduce插槽时，第二个作业才会开始运行。即使有任何调度，调度程序也会优先考虑第一个作业。因此，Hadoop将等待第一份工作在第二份工作安排完成之前完成。

通常不建议文件小于输入分割大小，因为与单个大文件相比，namenode必须管理更多文件inode。