纱线调度程序页面上的内存,vcore和磁盘是什么?

时间:2019-05-22 07:49:53

标签: apache-spark hadoop yarn

有人可以详细解释使用的资源,最小资源和最大资源吗?有关存储单元的所有特定详细信息?

enter image description here

2 个答案:

答案 0 :(得分:1)

纱线调度程序是负责管理队列的组件。它与称为资源管理器的组件进行交互,以请求以容器的形式为这些队列中的应用程序分配资源。每个这样的组件都是一个独立的世界,尽管掌握整个框架需要花费一些时间,但是here可以找到对这些资源请求的详细说明。

答案 1 :(得分:1)

您使用的资源表示您使用了2个虚拟核,总共有6GB的内存。这意味着YARN给了您2个容器,总内存为6GB。

Ray Chiang和Dennis Dawson在Untangling Apache Hadoop YARN, Part 4: Fair Scheduler Queue Basics中最好地解释了Min Resources和Max Resources:

  
      
  • minResources限制是一个软限制。只要队列总资源需求大于或等于minResources需求,就会强制执行此条件,并且只要满足以下条件,它将至少获得指定的数量:      
        
    • 资源可用或可以从其他队列中抢占。
    •   
    • 所有minResources的总和不大于集群的总资源。
    •   
  •   
  • maxResources限制是一个硬限制,这意味着它会不断实施。具有此属性的队列及其任何子队列和后代队列使用的总资源必须服从该属性。
  •