在忙于运行map reducer作业时写入hadoop集群

Question

我知道Hadoop有Fair Scheduler，我们可以将作业分配给某个优先级组，并根据优先级将集群资源分配给作业。我不确定和我问的是Hadoop集群如何优先考虑非地图红色程序。具体来说，当群集忙于运行地图红色作业时，Hadoop会优先处理通过外部客户端（例如一些直接打开HDFS文件和流数据的独立程序）对Hadoop的写入优先级。

Answer 1

资源管理器只能优先处理提交给它的作业（例如MapReduce应用程序，Spark作业等）。

除了distcp之外，HDFS操作只与NameNode和Datanodes交互，而不是资源管理器，因此它们将按照收到的顺序由NameNode处理。