YARN 架构
ResourceManager:RM
负责集群资源的统一管理、调度,处理客户端请求。
NodeManager:NM
负责自身节点资源管理和使用。
向RM汇报自身的资源使用情况。
接收并处理来自RM的各种命令:启动Container。
处理来自AM的命令:比如需要启动多少个Container。
ApplicationMaster:AM
每个应用程序对应一个AM(MR、Spark...)。
为应用程序向RM申请资源(core、memory)。
与NM通信:启动/停止task,task是运行在container里面,AM也是运行在container里的。
Container
封装了CPU、Memory等资源的一个容器。
是一个任务运行环境的抽象,类似于Docker的容器的概念。
Client
发出请求
网友评论