YARN

作者: 歌哥居士 | 来源:发表于2019-03-29 16:01 被阅读0次

YARN 架构

ResourceManager:RM
负责集群资源的统一管理、调度,处理客户端请求。

NodeManager:NM
负责自身节点资源管理和使用。
向RM汇报自身的资源使用情况。
接收并处理来自RM的各种命令:启动Container。
处理来自AM的命令:比如需要启动多少个Container。

ApplicationMaster:AM
每个应用程序对应一个AM(MR、Spark...)。
为应用程序向RM申请资源(core、memory)。
与NM通信:启动/停止task,task是运行在container里面,AM也是运行在container里的。

Container
封装了CPU、Memory等资源的一个容器。
是一个任务运行环境的抽象,类似于Docker的容器的概念。

Client
发出请求

相关文章

网友评论

      本文标题:YARN

      本文链接:https://www.haomeiwen.com/subject/ybqxvqtx.html