YARN应用实例
YARN应用实例
YARN的ResourceManager会在一个获得的container上启动ApplicationMaster。ApplicationMaster然后通过AMRMProtocol协议与ResourceManager通讯，首先ApplicationMaster需要将自身注册到ResouceManager。ApplicationMaster为了完成交给他的任务，他会通过AMRMProtocol::allocate来申请containers。如果获得了container，ApplicationMaster会通过ContainerManager::startContainer和NodeManager联系，来为任务启动一个container。作为启动container的一部分，ApplicationMaster需要指定ContainerLaunchContext，ContainerLaunchContext和ApplicationSubmissionContext相似，包括了一些启动时需要的信息，诸如：命令行命令、环境变量等。一旦任务完成，ApplicationMaster会通过AMRMProtocol::finishApplicationMaster来通知ResourceManager任务完成。
与此同时，client可以通过查询ResourceManager来获取application的状态信息，或者如果ApplicationMaster支持也可以直接从ApplicationMaster查询信息。如果需要，client可以通过ClientRMProtocol::forceKillApplication来kill掉application。
ClientRMProtocol -- Client <--> ResourceManager
这是client和ResourceManager通讯来启动一个新的application（这个application是ApplicationMaster等）的协议，可以通过这个协议查询或kill application。例如：a job-client将使用这个协议。
AMRMProtocol -- ApplicationMaster <-->ResourceManager
这个协议用于ApplicationManager向ResourceManager注册和注销自己，同时包括从Scheduler申请资源来完成任务。
ContainerManager - ApplicationMaster <-->NodeManager
这个协议用于ApplicationMaster和NodeManager来开始或停止一个container，或者获取container的状态更新信息。
[html] view plaincopy
[java] view plaincopy
client的一个关键工作就是设置ApplicationSubmissionContext，使得ResourceManager能够启动ApplicationMaster。client需要设置下面的一些context：
[java] view plaincopy
[java] view plaincopy
有多种办法client能够track progress的状态
client可以通过ClientRMProtocol::getApplicationReport和ResourceManager通讯来获取application的report
[java] view plaincopy
[java] view plaincopy
ApplicationMaster在多用户环境下可能与其他container运行在相同的物理主机上，因此假设他使用哪个预先配置的端口来监听都是不合理的。
当ApplicationMaster启动时，他可以通过环境变量来获得一些参数，诸如：ApplicationMaster所在container的ContainerId，application提交的时间，以及运行 ApplicationMaster的NodeManger host的细节信息，这些信息可以查阅ApplicationConstants来获得参数名称。
所有与ResouceManager的交互需要一个ApplicationAttemptId(如果任务失败可能会有多次尝试)，ApplicationAttemptId能够通过ApplicationMaster的containerId来获得，有相应的API可以完成从环境变量获得的字符串到对象的转换。
[java] view plaincopy
[java] view plaincopy
依据任务的需求，ApplicationMaster可以申请一系列containers来运行任务。ApplicationMaster使用ResouceRequest类来指定container的specifications。具体包括：
[java] view plaincopy
[java] view plaincopy
[java] view plaincopy
[java] view plaincopy
[java] view plaincopy
你可以利用LocalResource将需要的resource添加进去。这将使YARN分发这些资源到ApplicationMaster node。如果资源类型是tgz，zip或者jar，你可以让YARN去unzip他们。你需要做的只是将unziped的folder添加到你的classpath中。举例来说，当你像下面这样创建你的application request：
[java] view plaincopy
注意：Java‘s classpath参数是非常sensitive的，一定要保证你使用的语法正确。
一旦你的package被部署到你的ApplicationMaster，无论何时ApplicationMaster启动一个新的container，你只要follow这个相同的过程（假设你希望resource被发送到你的container）。这段代码是完全相同的，你只要确信你给你的ApplicationMaster package path（无论是HDFS或者local），这样它可以随着container的ctx一起发送resource URL。
2、我如何获得ApplicationMaster的ApplicationAttemptId？
通过环境变量，ApplicationAttemptId将被发送给ApplicationMaster，从环境变量获得的值通过ConverterUtils辅助函数能够转化为ApplicationAttemptId对象。
3、我的container被NodeManager kill了
评论暂时关闭