yarn资源分配机制

yarn是Hadoop 2.0中的资源管理系统。

yarn的基本思想是将JobTracker 的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager和若干个针对应用程序的ApplicationMaster。

其中RM负责整个系统的资源管理和分配，而AM负责单个应用程序的管理。这里的应用程序指的是传统的Mapreduce作业或作业的DAG。

yarn组件:

1、RsourceManager

RM是一个全局的资源管理器，管理整个集群的计算资源，并将这些资源分配给应用程序。

2、ApplicationMaster（AM）

应用程序级别的，管理运行在YARN上的应用程序。

3、NodeManager

yarn的每个节点上的代理，管理HADOOP集群中单个计算节点。

4、container

container是yarn中抽象的资源，它封装了某个节点上的多纬度资源，如内存、cpu、磁盘、网络等。

下面三种调度机制，默认的是FIFO机制，这种机制是先进先出队列机制，在企业中基本不会使用，第二种机制Capacity机制是使用最多的，它是开辟出两个队列分给不同的组来执行job，但相同的组还是要按照先进先出的队列机制，第三种机制也常有使用。