ZooKeeper场景实践：（2）集中式配置管理，zookeeper配置管理


1. 基本介绍

在分布式的环境中，可能会有多个对等的程序读取同样的配置文件，程序可以部署在多台机器上，如果配置采用文件的话，则需要为部署该程序的机器也部署一个配置文件，一旦要修改配置的时候就会非常麻烦，需要修改多个配置文件，而且容易产生不一致。
集中式配置管理的思路是，将配置数据集中发布到ZooKeeper的节点上，供订阅者动态获取数据。实现配置的集中式管理和动态更新。可以简单的理解为配置数据与程序分离。

2. 场景分析

(1).集中式配置管理

通常来说，大部分项目里面都有约定的配置文件格式，如ini,xml等。一般都会有对应的解析库类。这种解析库类的基本工作模式为：

  1. 读取文件（open）
  2. 解析文件（parse)
  3. 对外提供参数(get)

如果我们将文件的内容全部放到ZooKeeper的某个节点上.解析类将配置数据全部下载到本地，在完成解析的话，则可以用很小的改动就完成集中式配置管理的需求。

  1. 读取Zookeeper上对应路径的数据(read)
  2. 解析文件(parse)
  3. 对外提供参数（get)

(2).动态更新

动态更新是希望不重启程序就能够实时获取更新的配置。在单机环境中，这种配置数据通常会放在数据库中，修改配置只需要update数据库就可以了。
使用ZooKeeper的话，需要节点注册一个watcher，监视配置数据的是否有变化，一定出现变化，则调用新的解析类来重新解析配置数据。
个人认为这个特征使用Zookeeper可以实现，但是并不是所有配置都需要这个功能，这种比较适合对配置敏感，需要实时更新配置的情况。

3. 动手实践

这里我只实现了集中式配置管理的功能，没有实现动态更新，有需要的话你可以尝试自己实现。
由于之前曾经做个一个ini文件的库类解析，这里就直接拿过来改了。根据场景的分析，只需要修改open这个函数就ok了。

看下原来的open函数

/*读取文件名要改为地址和路径*/
int IniFile::open(const string &filename)
{    
    release();
    fname_ = filename;
    IniSection *section = NULL;
    /*读取数据的方式需要修改*/
    FILE *fp = fopen(filename.c_str(),"r");

    if(fp == NULL ){
        return -1;
    }

    string line;
    string comment;

    //增加默认段
    section = new IniSection();
    sections_[""] = section;
    /*获取行的方式需要修改*/
    while(getline(line,fp) > 0){

        ...//省略单行的解析

    }

    fclose(fp);

    return 0;
}

我们有三个主要需要修改的地方，分别是是入参，fopen和getline。下面是修改后的open函数

/*修改入参，host为Zookeeper的ip及端口地址，filepath为配置数据的路径*/
int IniFile::open2(const string &host,const string &filepath)
{    
    release();
    fname_ = filepath;
    IniSection *section = NULL;
    char fp[2048]={0};
    /*ZooKeeper来读取*/
    zkopen(host,filepath,fp,sizeof(fp));

    if(fp[0] == 0){
        return -1;
    }

    string line;
    string comment;

    //增加默认段
    section = new IniSection();
    sections_[""] = section;

    char *p = fp;
    /*调整getline的入参*/
    while(getline2(line,p) > 0){
          ...//省略单行的解析

    }


    return 0;
}

zkopen从Zookeeper的节点上读取数据，并保存到fp中。代码如下：

string zkopen(const string &host,const string &filepath,char *fp,int len)
{
    int timeout = 30000;  
    char path_buffer[512];  
    int bufferlen=sizeof(path_buffer); 
    char conf_data[2048];
    int conf_len=sizeof(conf_data); 

    zoo_set_debug_level(ZOO_LOG_LEVEL_WARN); //设置日志级别,避免出现一些其他信息  

    zhandle_t* zkhandle = zookeeper_init(host.c_str(),NULL, timeout, 0, (char *)"Monitor Test", 0);  

    if (zkhandle ==NULL)  
    {  
        fprintf(stderr, "Error when connecting to zookeeper servers...\n");  
        exit(EXIT_FAILURE);  
    }  

    int ret = zoo_get(zkhandle,filepath.c_str(),0,conf_data,&conf_len,NULL);
    if(ret != ZOK){
        fprintf(stderr,"failed to get the data of path %s!\n",filepath.c_str());
        conf_data[0] = 0;
    }

    zookeeper_close(zkhandle); 

    strncpy(fp,conf_data,len);
    return conf_data;
}

接下来在对比下调用的变化。
原来的调用方式：

  /** read test **/
    IniFile ini;
    ini.open(g_filepath);

    //获取指定段的指定项的值
    int ret = 0;
    string db_name = ini.getStringValue("COMMON","DB",ret);
    string db_passwd = ini.getStringValue("COMMON","PASSWD",ret);

现在的调用方式：

  /** read test **/
    IniFile ini;
    ini.open2(g_host,g_filepath);/*仅此处有变化*/

    //获取指定段的指定项的值
    int ret = 0;
    string db_name = ini.getStringValue("COMMON","DB",ret);
    string db_passwd = ini.getStringValue("COMMON","PASSWD",ret);

由上可见，配置的改造还是很容易的，而且对程序的改动很小。
代码详见https://github.com/Winnerhust/ZooKeeper-Exam/tree/master/Config

5.小提示

需要注意一点，配置文件中通常有很多换行，而ZooKeeper的客户端命令行工作不支持字符转义。比如你要将一个配置文件test.ini的内容保存到Zookeeper上，文件内容如下。
[COMMON]
DB=mysql
PASSWD=root

你可能会在Zookeeper客户端上输入:
[zk: 172.17.0.36:2181(CONNECTED) 39] create /Conf/test.ini [COMMON]\nDB=mysql\nPASSWD=root\n
结果与我们希望的并不一样:
[zk: 172.17.0.36:2181(CONNECTED) 43] get /Conf/test.ini3[COMMON]\nDB=mysql\nPASSWD=root\n

Zookeeper并没有将字符串进行转义，所以不能用ZooKeeper客户端直接上传配置文件。因此在代码里我还增加了一个上传配置的功能。只需要将上一个参数-r就可以了。如将test.ini文件的内容上传到ZooKeeper：
cat test.ini | testcase -r -p/Conf/test.ini -s172.17.0.36:2181



软件配置管理培训课程需

“中国电子标准协会WAYS”有专业的2-3天“软件项目配置管理及工具操作实践“的课程。详情你可以百度一下他们协会到他们网站上看看。以下为相关课程的课程大纲：

1、软件工程&配置管理概述
o 软件工程与质量管理简介
o 配置管理在质量管理、软件工程中的作用意义
o 配置管理发展历史
o 引入配置管理的原因
o 配置管理的作用意义
o 各方法论/模型中配置管理
2、配置管理概念与术语
o 软件配置管理
o 配置项
o 基线
o 版本
o 配置状态报告
o 配置审计
o 配置管理员
o 配置控制委员会
o 配置库
o 出/入库
3、CMMI中CM过程
o CMMI2过程域简介
o CM通用实践要求
o CM目的
o CM特定目标
o CM特定实践
o CM语境图
o CM现状分析
分组讨论：结合你的工作实践，谈谈你对软件配置管理的认识，分析CMMI中CM过程应用现状和“天生不足”
4、研发配置活动
o 研发配置框架
o 研发常见模式
o 出入库
o 集成管理
o 分支
o 构建管理
概念流程
构建问题管理
构建环境
构建案例
交流讨论：建立合适的构建制度。
o 发布管理
产品的发行与更新发布
o 版本管理
o 基线管理
o 配置变更
项目变更控制
产品变更控制
练习作业：请您设计您所在项目的研发配置活动，并说明每个配置活动的目的是什么。
5、项目配置管理
o 配置申请/计划
o 配置项识别
o 练习1：定义《公司级配置管理过程》
配置管理角色及职责
配置库结构
配置库建立及权限管理
o 练习2：完成一份《配置管理计划》
估计配置管理工作量
估计配置管理资源需求
配置审计与备份
协调配置管理活动与其他项目活动
o 练习3：设计一种类型项目的《配置库结构》
o 配置基线及其项目运用
o 配置管理报告四种最佳实践
o 配置管理文档
案例分析：配置管理文档实例展示分析
分组讨论：配置管理与研发生命周期的关系，在研发项目各阶段要严格控制的配置活动包括哪些？
6、公司级配置管理
集中问题讨论：
o 项目启动时怎样定义配置管理？
o 集中式与分布式配置管理分析？
o 怎样建立公司级的配置管理？
o 合理定制配置管理工具支持策略？
o 配置经理、配置工程师、软件开发工程师、软件测试人员的配置工作职责及相关协调？
o 谁是CCB？所有的变更都需要CCS审批吗？
o 配置审核和QA审核在实际操作上的区别？
o 怎样衡量配置管理是否有效？
o 配置管理员可以兼职吗？谁兼职合适？
o 什么是基线？基线和里程碑有什么关系？基线在产品管理中的作用意义？
7、配置管理案例分析
o案例1：公司级配置管理案例分析
o简述：JN公司是CMMI5级公司，公司建立了配置管理流程，各个部门也有一套配置管理方法，因各部门配置工具、配置库结构、方法、团队不相同。项目资产跨部门使用非常困难，研发人员跨部门调用比较困难，项目研发与产品研发的配置管理难以统一。
o配置策略：
配置管理现状分析
配置目标意义
配置库结构定义
配置工具选择
配置流程职责
配置团队建设
知识库与配置管理
o 风险分析及实施步骤
建立研发配置管理子体系
研发配置管理策划
搭建研发配置平台
选择配置管理工具
建设配置监控队伍
o案例2：部门配置管理案例分析
o简述：MZ研发部，有20个项目，研发人员30人左右，其中有两个项目实施有10年，七期项目都已经启动，有的项目在客户现场，有的项目在研发基地。近五年来，除开大项目经理没有离职，其它项目经理、研发人员已经更换多次。历史的项目资料，有的丢失，有......余下全文>>
 

什叫集中式管理？

集团企业构建ERP系统应以集中式管理模式为前提，定位在集团总体战略的高度上，而不是集中在单个下属企业ERP系统的过程自动化上；不仅强调集团的各个供应链环节间的分工、协作、专业化，更应强调集团总部对于整个集团资源的监控和整合。

市场竞争的全球化呼唤集中式管理

1.ERP：市场经济的产物。

ERP是在西方产生和发展起来的，它与市场经济紧密联系在一起，是市场竞争的产物。我国在20世纪90年代以前还处于计划经济时期，市场机制不健全，ERP蕴含的更先进的管理经验和实践，提高企业内各业务环节的效率和企业管理控制的效率优势无法发挥作用，ERP整合企业资源的功效也就无法实现。而在当今时代，随着我国市场进程的加快，中国企业呼唤着ERP的应用。

2.集中式管理：Internet时代集团企业的必然选择。

在Internet时代，随着市场竞争的全球化，集团企业由于跨地域、跨行业、经营多元化的特点，使其具有普通单一企业所无法获得的资金、技术、市场优势。集团采购、销售、协作的地域范围不断扩大，在全球各洲各大区都有分支机构，合作伙伴遍及世界各地。但同时集团企业也由于分散化的管理引发许多问题，不能实现其规模优势。

集团超大规模的客观实际要求管理分工化和内部资源优化整合得到有机的统一。如何解决集团企业所面临的问题？只有采用集中化管理思想，在战略上实行集中监控，整合所有资源；在战术上实行分布式经营，做到既减低经营风险，又实现规模经济优势，才能实现集团战略目标。那么，如何有效实现集团集中监控？是法治？人治？还是ERP治？

法治？多年来国家及企业内部出台了大量的政策、法规、制度来实现对集团企业的有效控制。单从加强集团的财务信息质量的角度看，国家专门出台了会计法、企业会计准则、股份有限公司会计制度、行业会计制度、会计制度的补充规定等等，集团企业内部也制定了一系列规章，如财务人员岗位职责、相关内审制度等等。但是会计信息失真情况仍然严重。

人治？应该说国家和企业在这方面也下了很大的力气，如实行会计委派制、国家稽查员制度等等，通过外部人员的介入来达到有力监控的目的。但是它也存在着执行成本高、派驻人员不熟悉业务、受监控单位同化贿赂等弊端而不能达到预期目标。同时法治与人治都存在一个重大的缺憾，即缺少一个将制度贯彻执行的有效手段，缺少一个对信息快速反馈的载体。

ERP治？因为ERP借助现代网络通信技术，可以对整个集团的资源进行整合，实现集成化应用，建立企业决策完善的数据体系和信息共享机制，所以说，ERP治可以实现集团集中式管理，实现集团集中监控，实现集团规模经济。目前，越来越多的企业，尤其是大型集团企业，如联想、海尔、一汽大众、长虹、康佳、华为、小天鹅、美的等在近几年内大规模实施ERP，都取得了可喜的成效。如联想过去需要一个月才能做出的集团财务报表现在只需两天就可以完成。一汽大众原来测算的年保本点可能需要达到8万辆，现在利用先进的管理技术经重新测算成本构成后，通过积极开发一些盈利高的汽车产品，最后实际生产 3．5万辆就可实现保本，1997年的生产销售超过了4.2万辆，年底盈利2个亿。

这些成功的例子说明，成功的ERP系统必须依照集中式的管理思想来构建，特别是大型集团企业，只有全方位地整合了企业的内部资源，大幅度地提高内部效率，才能更快更好地应对市场的变化。如果企业管理信息化建设缺少统一的整体规划，子系统虽然能够局部运行，信息未在整个集团管理范围内共享，形成各个“信息孤岛”，价值流不能实现与物流、信息流的同步控制，也无法发挥规模经济优势。

实践证明：得控则强、失......余下全文>>
 

相关内容