Apache Hive与普通地图减少

Question

我在运行hive查询（外部表中的条目的简单计数）和普通地图reduce（字数统计程序）时遇到了奇怪的经历。我的wordcount map reduce首先启动，hive查询启动第二。 Hive查询有点快，我的第一张地图缩小了。是否有任何情况下Hive map减少阻止所有其他地图减少沿着边跑？

我请求您在此问题上添加您的观点。

Answer 1

我假设情况并非如此。 Hive不会阻止群集上的任何其他作业。群集负载和网络延迟可能会影响哪个作业首先完成。如果您正在尝试比较两个作业以查看哪个作业更快，请同时提交它们并运行测试至少5-10次并考虑平均时间。

Answer 2

作业完成的顺序取决于作业请求的map和reduce任务的数量，以及集群的调度程序配置。

如果作业请求的集群数量大于集群可用的减少任务，则会强制其他作业等待，直到reducer任务完成。然后，调度程序可以将空闲减少时隙分配给等待作业（同样，取决于调度程序配置）。