OpenStack Cinder源码流程简析

版权声明：本博客欢迎转载，转载时请以超链接形式标明文章原始出处！谢谢！
博客地址：http://blog.csdn.net/i_chips

一、概况

OpenStack的各个模块都有相应的客户端模块实现，其作用是为用户访问具体模块提供了接口，同时也作为模块之间相互访问的途径。
相应的，OpenStack的Cinder模块分为两个组件：cinderclient和cinder（本文是在H版的基础上分析的），其源码分别参见如下：
https://github.com/openstack/python-cinderclient
https://github.com/openstack/cinder
在OpenStack环境中，使用cinder create命令创建volume等，cinderclient会对命令行参数进行解析和封装，处理完成后发送给cinder，cinder收到请求后，会解析、执行请求并响应创建消息。
下面来根据源码具体分析。

二、cinder服务启动流程

1. cinder-api服务启动流程
① 脚本bin.cinder-api（读取配置文件，获取cinder路径，导入必须的模块，调用service.WSGIService('osapi_volume')）
② cinder.service:WSGIService.__init__（使用osapi_volume初始化了一个WSGIService服务；调用wsgi.Server）
③ cinder.wsgi:Server.__init__（wsgi.Server类的对象初始化操作，创建了一个GreenPool协程池，但并不启动WSGI服务）
④ 脚本bin.cinder-api（调用service.serve(server)）
⑤ cinder.service:serve（初始化Launcher类，然后调用_launcher.launch_server）
⑥ cinder.service:Launcher.launch_server（调用eventlet.spawn，建立一个新的绿色线程用来运行变量func所指定的方法；调用self.run_server）
⑦ cinder.service:Launcher.run_server（先调用server.start，再调用server.wait）
⑧ 启动cinder-api服务
a) cinder.service:WSGIService.start（调用self.server.start()）
b) cinder.wsgi:Server.start（spawn了一个协程，在self._start中又调用eventlet.wsgi.server，启动了'osapi_volume'所指定的阻塞式eventlet WSGI服务，也就是说，cinder-api服务启动成功了）
⑨ 等待cinder-api服务结束
a) cinder.service:WSGIService.wait（等待WSGIService服务结束；调用self.server.wait）
b) cinder.wsgi:Server.wait（调用self._server.wait()）
c) cinder.service:wait（调用_launcher.wait()）
d) cinder.service:Launcher.wait（等待cinder-api协程结束，然后关闭RPC协议框架）


2. cinder-scheduler服务启动流程
① 脚本bin.cinder-scheduler（读取配置文件，获取cinder路径，导入必须的模块，调用service.Service.create(binary='cinder-scheduler')）
② cinder.service:Service.create（进行了一系列变量的初始化操作，然后对类进行初始化）
③ 脚本bin.cinder-api（调用service.serve(server)）
④ cinder.service:serve（初始化Launcher类，然后调用_launcher.launch_server）
⑤ cinder.service:Launcher.launch_server（调用eventlet.spawn，建立一个新的绿色线程用来运行变量func所指定的方法；调用self.run_server）
⑥ cinder.service:Launcher.run_server（先调用server.start，再调用server.wait）
⑦ 启动cinder-scheduler服务
a) cinder.service:Service.start（创建RPC连接，启动消费者线程，然后等待队列消息。当轮询查询到消息到达后，创建协程处理相关消息）
⑧ 等待cinder-scheduler服务结束
a) cinder.service:Service.wait（等待Service服务结束；调用x.wait()）
b) cinder.service:wait（调用_launcher.wait()）
d) cinder.service:Launcher.wait（等待cinder-scheduler协程结束，然后关闭RPC协议框架）


3. cinder-volume服务启动流程（cinder-backup服务启动和cinder-volume类似，就不单列了）
① 脚本bin.cinder-volume（导入相关模块，读取配置文件，获取cinder路径，调用service.ProcessLauncher()）
② cinder.service:ProcessLauncher.__init__（对ProcessLauncher类进行实例化）
③ 脚本bin.cinder-volume（调用service.Service.create(binary='cinder-volume')）
④ cinder.service:Service.create（进行了一系列变量的初始化操作，然后对类进行初始化）
⑤ 脚本bin.cinder-volume（调用launcher.launch_server(server)）
⑥ cinder.service:ProcessLauncher.launch_server（调用self._start_child(wrap)）
⑦ cinder.service:ProcessLauncher._start_child（os.fork()会fork一个子进程，子进程创建成功后，就会调用self._child_process(wrap.server)）
⑧ cinder.service:ProcessLauncher._child_process（等待信号并关闭pipe，然后初始化Launcher类，再调用launcher.run_server(server)）
⑨ cinder.service:Launcher.run_server（先调用server.start，再调用server.wait）
⑩ 启动cinder-volume服务
a) cinder.service:Service.start（创建RPC连接，启动消费者线程，然后等待队列消息。当轮询查询到消息到达后，创建协程处理相关消息）
⑾ 等待cinder-volume服务结束
a) cinder.service:Service.wait（等待Service服务结束；调用x.wait()）
b) cinder.service:wait（调用_launcher.wait()）
d) cinder.service:Launcher.wait（等待cinder-volume协程结束，然后关闭RPC协议框架）

三、cinderclient部分create流程

1. cinderclient部分create volume流程
① cinderclient.shell:main（调用OpenStackCinderShell().main）
② cinderclient.shell:OpenStackCinderShell.main（对命令行参数进行解析等一系列操作；方法main的最后一句args.func(self.cs, args)解析之后为do_create）
③ cinderclient.v1.shell:do_create或cinderclient.v2.shell:do_create（调用cs.volumes.create）
④ cinderclient.v1.volumes:VolumeManager.create或cinderclient.v2.volumes:VolumeManager.create（对body进行赋值，最后调用self._create）
⑤ cinderclient.base:Manager._create（通过self.api.client.post把url和body内容传递下去）
⑥ cinderclient.client:HTTPClient.post（调用self._cs_request，在_cs_request中又调用self.request）
⑦ cinderclient.client:HTTPClient.request（调用requests.request，requests库遵循HTTP协议，实现了访问远程服务器并等待响应的功能）


2. cinderclient部分create snapshot流程
① cinderclient.shell:main（调用OpenStackCinderShell().main）
② cinderclient.shell:OpenStackCinderShell.main（对命令行参数进行解析等一系列操作；方法main的最后一句args.func(self.cs, args)解析之后为do_snapshot_create）
③ cinderclient.v1.shell:do_snapshot_create或cinderclient.v2.shell:do_snapshot_create（调用cs.volume_snapshots.create）
④ cinderclient.v1.volume_snapshots:SnapshotManager.create或cinderclient.v2.volume_snapshots:SnapshotManager.create（对body进行赋值，最后调用self._create）
⑤ cinderclient.base:Manager._create（通过self.api.client.post把url和body内容传递下去）
⑥ cinderclient.client:HTTPClient.post（调用self._cs_request，在_cs_request中又调用self.request）
⑦ cinderclient.client:HTTPClient.request（调用requests.request，requests库遵循HTTP协议，实现了访问远程服务器并等待响应的功能）


3. cinderclient部分create backup流程
① cinderclient.shell:main（调用OpenStackCinderShell().main）
② cinderclient.shell:OpenStackCinderShell.main（对命令行参数进行解析等一系列操作；方法main的最后一句args.func(self.cs, args)解析之后为do_backup_create）
③ cinderclient.v1.shell:do_backup_create或cinderclient.v2.shell:do_backup_create（调用cs.backups.create）
④ cinderclient.v1.volume_backups:VolumeBackupManager.create或cinderclient.v2.volume_backups:VolumeBackupManager.create（对body进行赋值，最后调用self._create）
⑤ cinderclient.base:Manager._create（通过self.api.client.post把url和body内容传递下去）

⑥ cinderclient.client:HTTPClient.post（调用self._cs_request，在_cs_request中又调用self.request）

⑦ cinderclient.client:HTTPClient.request（调用requests.request，requests库遵循HTTP协议，实现了访问远程服务器并等待响应的功能）

四、cinder部分通用create流程

1. 使用若干中间件对客户端发送过来的请求消息进行过滤（解封和封装）处理
① 配置文件api-paste.ini的解析
a) 配置文件/etc/cinder/api-paste.ini中的[composite:osapi_volume]（XXXX/XXXX形式的API交给apiversions来处理，XXXX/V1/XXXX形式的API交给openstack_volume_api_v1来处理，XXXX/V2/XXXX形式的API交给openstack_volume_api_v2来处理）
b) 配置文件/etc/cinder/api-paste.ini中的[pipeline:apiversions]（使用pipeline section实现faultwrap对osvolumeversionapp的过滤操作）
c) 配置文件/etc/cinder/api-paste.ini中的[composite:openstack_volume_api_v1]或[composite:openstack_volume_api_v2]（在参数noauth，keystone和keystone_nolimit中，分别集成了多个过滤器faultwrap、sizelimit等，以及应用apiv1或apiv2）


② FaultWrapper（关于错误异常的处理）
a) 配置文件/etc/cinder/api-paste.ini中的[filter:faultwrap]（通过此过滤器，调用类FaultWrapper）
b) cinder.api.middleware.fault:FaultWrapper.__call__（调用self._error进行错误检测）
c) cinder.api.middleware.fault:FaultWrapper._error（关于错误异常的处理）


③ RequestBodySizeLimiter（对请求消息中body部分长度的检测）
a) 配置文件/etc/cinder/api-paste.ini中的[filter:sizelimit]（通过此过滤器，调用类RequestBodySizeLimiter）
b) cinder.api.middleware.sizelimit:RequestBodySizeLimiter.__call__（对请求消息中body部分长度的检测）


④ 身份认证处理
a) 配置文件/etc/cinder/api-paste.ini中的[filter:noauth]（通过此过滤器，调用类NoAuthMiddleware）或[filter:keystonecontext]（通过此过滤器，调用类CinderKeystoneContext）
b) cinder.api.middleware.auth:NoAuthMiddleware.__call__或cinder.api.middleware.auth:CinderKeystoneContext.__call__


⑤ APIRouter（对请求消息的路由处理）
a) 配置文件/etc/cinder/api-paste.ini中的[app:apiv1]或[app:apiv2]（通过此过滤器，调用类APIRouter）
b) cinder.api.v1.Router:APIRouter或cinder.api.v2.Router:APIRouter（对请求消息的路由处理）
c) cinder.api.openstack.__init__:APIRouter.__init__
d) cinder.api.extensions:ExtensionManager
e) cinder.api.v1.Router:APIRouter._setup_routes
f) cinder.api.openstack.__init__:APIRouter._setup_ext_routes（在一个控制器中单纯地实现新的Restful资源功能，调用wsgi.Resource）
g) cinder.api.openstack.__init__:APIRouter._setup_extensions
h) cinder.wsgi:Router.__init__


⑥ Resource（action执行前的一些预处理）
a) cinder.api.openstack.wsgi:Resource.__call__（对获取到的响应信息进行若干格式化上的转换和处理）
b) cinder.api.openstack.wsgi:Resource._process_stack（主要完成了请求信息完整的执行过程）


2. 获取要执行的方法及其相关的扩展方法
cinder.api.openstack.wsgi:Resource.get_method（获取要执行的action方法及相关的扩展方法）


3. 请求中body部分的反序列化
cinder.api.openstack.wsgi:Resource.deserialize（确定反序列化的方法，实现对body的反序列化操作）


4. 所获取的action相关的扩展方法的执行
cinder.api.openstack.wsgi:Resource.pre_process_extensions（执行之前获取的扩展方法）


5. 执行具体的方法（如卷的创建方法create）
cinder.api.openstack.wsgi:Resource.dispatch（执行之前获取的action方法，获取并返回方法执行的结果）


6. 响应信息的生成
① cinder.api.openstack.wsgi:Resource.preserialize（根据accept确定相应对象所要使用的序列化方法或类，进行类的初始化操作）

② cinder.api.openstack.wsgi:Resource.serialize（进行序列化操作，从而形成响应信息中的body部分）

五、cinder部分create volume流程

1. cinder.api.v1.volumes:VolumeController.create或cinder.api.v2.volumes:VolumeController.create（通过req和body获取创建卷所需的相关参数；调用self.volume_api.create）


2. 调用方法create实现卷的创建
① cinder.volume.api:API.create（构建字典create_what，整合创建卷的具体参数；调用create_volume.get_api_flow）


② cinder.volume.flows.create_volume.__init__:get_api_flow（构建并返回用于创建卷的flow；调用linear_flow.Flow等）
a) cinder.taskflow.patterns.linear_flow:Flow.__init__（初始化一个Flow类）
b) cinder.taskflow.patterns.linear_flow:Flow.add（按顺序添加相关的task到flow中）
c) cinder.volume.flows.utils:attach_debug_listeners（返回添加task后的flow给调用者）


③ cinder.taskflow.patterns.linear_flow:Flow.run（执行用于创建卷的flow，执行获取到的task列表，执行完成后对task状态进行判断，如果不成功则进行回滚操作）
a) cinder.volume.flows.create_volume.__init__:VolumeCastTask.__call__（VolumeCastTask是创建卷最关键的一个task，我们重点分析这个；调用self._cast_create_volume）
b) cinder.volume.flows.create_volume.__init__:VolumeCastTask._cast_create_volume（远程调用创建卷的方法，实现卷的创建操作，对参数内容进行判断，确定创建卷的方式、创建卷到哪个host等；调用self.scheduler_rpcapi.create_volume）
c) cinder.scheduler.rpcapi:SchedulerAPI.create_volume（通过cast广播方式实现远程调用方法create_volume）
d) cinder.scheduler.manager:SchedulerManager.create_volume（调用create_volume.get_scheduler_flow）
e) cinder.volume.flows.create_volume.__init__:get_scheduler_flow（创建flow，并将三个task添加到该flow中，其中最重要的task是schedule_create_volume）
f) Scheduler在未指明host的情况下，有三种算法选择host（FilterScheduler、ChanceScheduler、SimpleScheduler），通过配置文件/etc/cinder/cinder.conf可知，scheduler_driver默认指定cinder.scheduler.filter_scheduler.FilterScheduler
g) cinder.scheduler.filter_scheduler:FilterScheduler.schedule_create_volume（调用self._schedule，在_schedule中又调用self._get_weighted_candidates）
h) cinder.scheduler.filter_scheduler:FilterScheduler._get_weighted_candidates（self._get_weighted_candidates对可用的host进行weight判断，过滤选择合适的主机；接着schedule_create_volume调用self.volume_rpcapi.create_volume）
i) cinder.volume.rpcapi:VolumeAPI.create_volume（通过cast广播方式实现远程调用方法create_volume）
j) cinder.volume.manager:VolumeManager.create_volume（调用create_volume.get_manager_flow）
k) cinder.volume.flows.create_volume.__init__:get_manager_flow（创建flow，并将若干个task添加到该flow中，其中最重要的task是CreateVolumeFromSpecTask，实现卷的创建；创建卷有四种方式：raw卷、从快照创建、克隆、从镜像创建）
l) 创建raw卷
cinder.volume.flows.create_volume.__init__:CreateVolumeFromSpecTask._create_raw_volume（调用self.driver.create_volume；Driver是底层采用的驱动，可以是LVM、GlusterFS、Ceph(RBD)等）
cinder.volume.drivers.glusterfs:GlusterfsDriver.create_volume（这里以GlusterFS为例，判断相应的目录是否挂载，然后调用self._do_create_volume）
cinder.volume.drivers.glusterfs:GlusterfsDriver._do_create_volume（有两种创建方式：qcow2和regular_file；根据配置文件/etc/cinder/cinder.conf中的glusterfs_qcow2_volumes值决定采用那种方式，默认使用_create_regular_file方式）
cinder.volume.drivers.nfs:RemoteFsDriver._create_regular_file（_create_regular_file通过dd命令创建块存储；而_create_qcow2_file通过qemu-img命令创建块存储）


m) 从快照创建卷
cinder.volume.flows.create_volume.__init__:CreateVolumeFromSpecTask._create_from_snapshot


n) 克隆
cinder.volume.flows.create_volume.__init__:CreateVolumeFromSpecTask._create_from_source_volume


o) 从镜像创建卷
cinder.volume.flows.create_volume.__init__:CreateVolumeFromSpecTask._create_from_image


④ volume = flow.results[uuid]['volume']（从flow中获取创建卷的反馈信息）

3. 获取创建卷后的反馈信息，实现格式转换，并获取其中重要的属性信息，以便上层调用生成卷创建的响应信息。

六、cinder部分create snapshot流程

1. cinder.api.v1.snapshots:SnapshotsController.create或cinder.api.v2.volumes:SnapshotsController.create（通过req和body获取创建卷所需的相关参数，然后调用self.volume_api.create_snapshot或self.volume_api.create_snapshot_force）


2. 调用方法create_snapshot实现快照的创建
① cinder.volume.api:API.create_snapshot或cinder.volume.api:API.create_snapshot_force（调用self._create_snapshot）
② cinder.volume.api:API._create_snapshot（整合创建快照的具体参数，更新数据库信息，然后调用self.volume_rpcapi.create_snapshot）
③ cinder.volume.rpcapi:VolumeAPI.create_snapshot（通过cast广播方式实现远程调用方法create_snapshot）
④ cinder.volume.manager:VolumeManager.create_snapshot（调用self.driver.create_snapshot；Driver是底层采用的驱动，可以是LVM、GlusterFS、Ceph(RBD)等）
⑤ cinder.volume.drivers.glusterfs:GlusterfsDriver.create_snapshot（这里以GlusterFS为例）
a) 卷被挂载的情况下：
cinder.volume.drivers.glusterfs:GlusterfsDriver._create_qcow2_snap_file（通过qemu-img命令创建快照）
cinder.compute.nova:API.create_volume_snapshot（调用nova.assisted_volume_snapshots.create，由Nova来完成快照数据写入）


b) 卷未被挂载的情况下：
cinder.volume.drivers.glusterfs:GlusterfsDriver._create_qcow2_snap_file（通过qemu-img命令创建快照）
cinder.volume.drivers.glusterfs:GlusterfsDriver._create_snapshot（先调用self._read_info_file，再调用self._write_info_file）
cinder.volume.drivers.glusterfs:GlusterfsDriver._write_info_file（将快照数据写入指定路径中）


3. 获取创建快照后的反馈信息，实现格式转换，并获取其中重要的属性信息，以便上层调用生成快照创建的响应信息。

七、cinder部分create backup流程

1. cinder.api.contrib.backups:BackupsController.create（通过req和body获取创建卷所需的相关参数，然后调用self.backup_api.create）


2. 调用方法create实现备份的创建
① cinder.backup.api:API.create（对源卷状态进行判断，对backup服务进行检查，更新数据库信息，然后调用self.backup_rpcapi.create_backup）
② cinder.backup.rpcapi:BackupAPI.create_backup（通过cast广播方式实现远程调用方法create_backup）
③ cinder.backup.manager:BackupManager.create_backup（获取备份的相关信息，初始化驱动并调用底层驱动创建备份；调用self._get_driver(backend).backup_volume）
④ cinder.volume.drivers.rbd:RBDDriver.backup_volume（这里以Ceph为例，获取卷相关的RBD的相关数据，然后调用backup_service.backup）
⑤ cinder.backup.drivers.rbd:RBDDriver.backup（解析参数，并判断源卷是否为RBD卷，如果是源卷为RBD卷，则使用增量备份，否则使用全量备份）
a) 增量备份
cinder.backup.drivers.rbd:RBDDriver._backup_rbd（获取前一个snapshot，创建新的snapshot，调用self._rbd_diff_transfer方法将两个snap之间的changes进行拷贝）


b) 全量备份
cinder.backup.drivers.rbd:RBDDriver._full_backup（首先调用self.rbd.RBD().create创建一个base backup image，然后调用self._transfer_data将数据从源卷拷贝到这个backup中）


3. 获取创建快照后的反馈信息，实现格式转换，并获取其中重要的属性信息，以便上层调用生成快照创建的响应信息。

八、参考资料

1. 《OpenStack源码分析-Cinder》：http://blog.csdn.net/gaoxingnengjisuan/article/category/1853287