HDP MapReduce作业并发

Question

我正在尝试使用sqoop将数据从Oracle导入到内部Hive。我的sqoop查询工作正常，但是当我尝试在一个脚本中同时运行多个sqoop查询时，只有一个MapReduce作业正在运行，而其他作业正在YARN上接受的队列上等待。我尝试用sqoop导入的表大约有5亿行和100列。我对服务配置进行了一些更改，但问题仍然存在。

是否可以同时运行这些MapReduce作业？我的群集信息如下所述。

HDP 3.0.1，Ambari 2.7.0， 4个主节点，3个效用节点，7个工作节点。每个节点具有128 GB内存和32个CPU。 Sqoop版本为1.4.7。谢谢。

Answer 1

yarnsite.xml需要进行调整以使用其他调度策略。我相信默认情况下会选择FIFO。

过去，这是我用来设置Capacity Scheduler的网页。我认为您可能想使用Fair Scheduler，但最终选择权是您自己的。 http://www.corejavaguru.com/bigdata/hadoop-tutorial/yarn-scheduler

注意： 您在提交作业时可能需要添加其他配置参数。例如，在容量调度程序中，您将需要定义也应添加作业的队列。