Hadoop源码分析之NameNode的启动与停止

parseArguments()函数的代码如下：

  private static StartupOption parseArguments(String args[]) {
    int argsLen = (args == null) ? 0 : args.length;
    StartupOption startOpt = StartupOption.REGULAR;
    for(int i=0; i < argsLen; i++) {
      String cmd = args[i];
      if (StartupOption.FORMAT.getName().equalsIgnoreCase(cmd)) {
        startOpt = StartupOption.FORMAT;
        // check if there are other options
        for (i = i + 1; i < argsLen; i++) {
          if (args[i].equalsIgnoreCase(StartupOption.FORCE.getName())) {
            startOpt.setConfirmationNeeded(false);
          }
          if (args[i].equalsIgnoreCase(StartupOption.NONINTERACTIVE.getName())) {
            startOpt.setInteractive(false);
          }
        }
      } else if (StartupOption.REGULAR.getName().equalsIgnoreCase(cmd)) {
        startOpt = StartupOption.REGULAR;
      } else if (StartupOption.UPGRADE.getName().equalsIgnoreCase(cmd)) {
        startOpt = StartupOption.UPGRADE;
      } else if (StartupOption.RECOVER.getName().equalsIgnoreCase(cmd)) {
        if (startOpt != StartupOption.REGULAR) {
          throw new RuntimeException("Can't combine -recover with " +
              "other startup options.");
        }
        startOpt = StartupOption.RECOVER;
        while (++i < argsLen) {
          if (args[i].equalsIgnoreCase(
                StartupOption.FORCE.getName())) {
            startOpt.setForce(MetaRecoveryContext.FORCE_FIRST_CHOICE);
          } else {
            throw new RuntimeException("Error parsing recovery options: " + 
              "can't understand option \"" + args[i] + "\"");
          }
        }
      } else if (StartupOption.ROLLBACK.getName().equalsIgnoreCase(cmd)) {
        startOpt = StartupOption.ROLLBACK;
      } else if (StartupOption.FINALIZE.getName().equalsIgnoreCase(cmd)) {
        startOpt = StartupOption.FINALIZE;
      } else if (StartupOption.IMPORT.getName().equalsIgnoreCase(cmd)) {
        startOpt = StartupOption.IMPORT;
      } else
        return null;
    }
    return startOpt;
  }

• format：格式化NameNode，建立NameNode节点的文件结构。带有format参数启动NameNode节点时，首先启动NameNode节点，然后对其机型格式化，再关闭节点，如果文件目录已经存在当前文件系统，则会提示用户。它有两个参数nonInteractive和force，nonInteractive表示如果NameNode节点的文件夹在当前的底层文件系统中存在，那么用户将不会收到提示，并且当前的格式化会失败，force表示不管NameNode的目录存不存在，强制格式化NameNode节点，也不会提示用户，如果nonInteractive和force参数同时存在，那么force参数将会被忽略；
• upgrade：升级系统；
• rollback：从升级系统中回滚到前一个版本，这个参数必须在停止的集群分布式文件系统中使用；
• finalize：提交一次升级，使用这个参数将会删除前一个版本的文件系统，并且当前版本的文件系统将会变成所使用的文件系统，并且rollback参数将不会再有效，这个参数最终会停止NameNode。
• importCheckpoint：从名字节点的一个检查点恢复，这个参数将会从检查点目录导入镜像文件，作为NameNode的文件目录结构。
• recover：执行元数据恢复，对于这一点还不理解，HDFS已经可以使用importCheckpoint参数从SecondaryNameNode恢复元数据，为什么还需要一个recover的过程？http://stackoverflow.com/questions/17387477/namenode-recovery-how-does-namenode-recovery-works?answertab=active#tab-top这里说的Hadoop2.0开始可以有多个NameNode节点，
  

在startupOption类中，还有一个枚举值是REGULAR，它表示正常启动NameNode。StartupOption.REGULAR是parseArguments()方法的默认值，从方法中可以看出，方法会遍历程序运行时给出的所有参数，根据参数值设定startOpt的值，如果参数中第一个参数没有NameNode启动所期望的值，那么就返回null，然后就会打印出启动NameNode的方法。

通过parseArguments()方法获取到启动参数之后，就调用私有静态方法将启动方式设置到Congifuration对象中，随后就根据启动参数的值执行相应的方法，这里值针对format，finalize和recover的处理。先不管这些处理，看看NameNode对象的创建过程。这行代码是用于NameNode的运行时的数据统计的，暂时不考虑。下面就是执行NameNode构造方法创建一个NameNode对象。

NameNode的构造方法很简单，直接调用了方法initialize()方法，下面来分析initialize()方法。在这个方法中执行了一系列的成员变量初始化，主要的代码如下(删除了安全相关和度量相关的代码)：

  private void initializea(Configuration conf) throws IOException {
	    InetSocketAddress socAddr = NameNode.getAddress(conf);
	    //Handler线程的个数
	    int handlerCount = conf.getInt("dfs.namenode.handler.count", 10);
	    this.namesystem = new FSNamesystem(this, conf);
	    // create rpc server，创建IPC服务器
	    InetSocketAddress dnSocketAddr = getServiceRpcServerAddress(conf);
	    if (dnSocketAddr != null) {
	      int serviceHandlerCount =
	        conf.getInt(DFSConfigKeys.DFS_NAMENODE_SERVICE_HANDLER_COUNT_KEY,
	                    DFSConfigKeys.DFS_NAMENODE_SERVICE_HANDLER_COUNT_DEFAULT);
	      this.serviceRpcServer = RPC.getServer(this, dnSocketAddr.getHostName(), 
	          dnSocketAddr.getPort(), serviceHandlerCount,
	          false, conf, namesystem.getDelegationTokenSecretManager());
	      this.serviceRPCAddress = this.serviceRpcServer.getListenerAddress();
	      setRpcServiceServerAddress(conf);
	    }
	    this.server = RPC.getServer(this, socAddr.getHostName(),
	        socAddr.getPort(), handlerCount, false, conf, namesystem
	        .getDelegationTokenSecretManager());
	    // Set terse exception whose stack trace won't be logged
	    this.server.addTerseExceptions(SafeModeException.class);
	    
	    // The rpc-server port can be ephemeral... ensure we have the correct info
	    this.serverAddress = this.server.getListenerAddress(); 
	    FileSystem.setDefaultUri(conf, getUri(serverAddress));
	    LOG.info("Namenode up at: " + this.serverAddress);
	    //启动http服务器
	    startHttpServer(conf);
	    this.server.start();  //start RPC server   
	    if (serviceRpcServer != null) {
	      serviceRpcServer.start();      
	    }
	    startTrashEmptier(conf);//启动垃圾桶功能
	    /*可以通过HDFS提供的Service plugin来完成。Service plugin是HDFS提供给管理员的access point，
	     * 我们可以通过这个access point为HDFS提供一些扩展功能。同样地，创建一个关闭EditLog的plugin。 */
	    plugins = conf.getInstances("dfs.namenode.plugins", ServicePlugin.class);
	    for (ServicePlugin p: plugins) {
	      try {
	        p.start(this);
	      } catch (Throwable t) {
	        LOG.warn("ServicePlugin " + p + " could not be started", t);
	      }
	    }
	  }

接下来就调用startHttpServer()方法启动HTTP服务器，调用startTrashEmptier()方法启动垃圾桶功能，最后加载为NameNode配置的插件，由于编译HDFS代码之后就不能修改HDFS代码了，如果要给HDFS增加一些其他功能，可以通过HDFS提供的Service plugin来完成。Service plugin是HDFS提供给管理员的access point，所以可以通过这个access point为HDFS提供一些扩展功能（参考自http://langyu.iteye.com/blog/1165292）。

Reference

《Hadoop技术内幕：深入理解Hadoop Common和HDFS架构设计与实现原理》

https://hadoop.apache.org/docs/r1.2.1/commands_manual.html

http://langyu.iteye.com/blog/1165292