Yarn资源调度器
yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
Yarn基础架构
YARN主要由
- ResourceManager
- 整个资源的老大
- NodeManager
- 单节点资源的老大
- ApplicationMaster
- 每一个作业任务的老大
- Container
- 容器
ResourceManager
- 处理客户端请求
- 监控NodeManger
- 启动或监控ApplicationMaster
- 资源的分配和调度
NodeManager
- 管理单个节点上的资源
- 处理来自ResourceManger的命令
- 处理来自ApplicationMaster的命令
ApplicationMaster
- 为应用程序申请资源并分配给内部的任务
- 任务的监控与容错
Container
- 是YARN中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘和网络等
Yarn的工作机制
- 客户端提交任务 YarnRunner，向RM申请一个Application
- RM返回给客户端将要运行任务的资源提交到指定的HDFS路径
- 客户端上传运行job所需要的资源
- Job.split切片信息 MapTask个数
- Job.xml 运行任务的参数
- 程序jar包
- 客户端上传完资源向RM申请运行MrAppMaster
- RM将用户的请求初始化成一个Task放到任务队列中
- NM领取Task任务，并创建Container，下载job资源到本地，读取切片信息
- MRAppMaster向RM申请运行MapTask的容器
- RM按照MapTask生成两个任务，NM将任务领走，创建Container
- MrAppMaster发送程序启动脚本，告知程序开始运行
- MapTask结束后按照分区持久化到磁盘，等待ReduceTask拉取
- MrAppMaster向RM申请两个容器运行ReduceTask程序
- NM上开始执行ReduceTask任务
- 结束后MRAppMaster告知RM运行job的资源全部释放
其他：
- MR程序提交到客户端所在的节点
- YarnRunner向ResourceManager申请一个Application
- RM将该应用程序的资源路径返回给YarnRunner
- 该程序将运行所需资源提交到HDFS上
- 程序资源提交完毕后，申请运行mrAppMaster
- RM将用户的请求初始化成一个Task
- 其中一个NodeManger领取到TASK任务
- 该NodeManager创建容器Container并产生MRAppMaster
- Container从HDFS上拷贝资源到本地
- MRAppMaster向RM申请运行MapTask的资源
- RM将运行MapTask任务分配给另外两个NodeManager，另外两个NodeManager分别领取任务并创建容器
- MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序
- MRAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask
- ReduceTask向MapTask获取相应分区的数据
- 程序运行完毕后MR会向RM申请注销自己
作业提交全过程
作业提交：
- Client调用job.watForCompletion方法，向整个集群提交MapReduce作业
- Client向RM申请一个作业id
- RM给Client返回该job资源的提交路径和作业id
- Client提交jar包、切片信息和配置文件到指定的资源提交路径
- Client提交完资源后，向RM申请运行MRAppMaster
作业初始化：
- 当RM收到Client的请求后，将该job添加到容量调度器中
- 某一个空闲的NM领取到该job
- 该NM创建Container，并产生MRAppMaster
- 下载Client提交的资源到本地
任务分配：
- MRAppMaster向RM申请运行多个MapTask任务资源
- RM将运行MapTask任务分配给另外两个NodeManager，这两个NodeManager分别领取任务并创建容器
任务运行：
- MRAppMater向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序
- MRAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask
- ReduceTask向MapTask获取相应分区的数据
- 程序运行完毕后，MR会向RM申请注销自己
进度和状态更新：
- YARN中的任务将其进度和状态（包括counter）返回给应用管理器，客户端每秒（通过mapreduce.client.progressmonitor.pollinterval设置）向应用管理器请求进度更新，展示给用户
作业完成：
- 除了向应用管理器请求作业进度外，客户端每5秒都会通过调用waitForCompletion()来检查作业是否完成，时间间隔可以通过mapreduce.client.completion.pollinterval来设置，作业完成之后，应用管理器和Container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户检查
YARN调度器
FIFO、容量调度器（Capacity Scheduler）、公平调度器（Fair Scheduler）
- Apache Hadoop3.1.3默认调度器 Capacity Scheduler
- CDH默认调度器 Fair Scheduler
配置文件yarn-default.xml:
- yarn.resourcemanager.scheduler.class
FIFO
容量调度器
算法
公平调度器
DRF：内存+CPU
缺额
实际最小资源份额：mindshare = Min(资源需求量，配置的最小资源)
是否饥饿：isNeedly = 资源使用量 < mindshare(实际最小资源份额)
资源分配比：minShareRatio = 资源使用量/Max(mindshare, 1)
资源使用权重比：useToWeightRatio = 资源使用量 / 权重
作业资源分配
