《云计算架构技术与实践》连载20：2.4.5 大数据分析云，云计算大数据

《云计算架构技术与实践》连载20：2.4.5 大数据分析云，云计算大数据

2.4.5大数据分析云

基于云计算总体架构下的大数据分析云解决方案，如图2-33所示。

图2-33 大数据分析云解决方案架构子系统组合

大数据分析云解决方案为海量静态数据批处理以及大流量动态流数据处理为关键特征的企业及行业应用场景提供支撑，通过自动化提取与归纳价值信息实现业务增值。大数据分析云由云计算的并行数据分析与挖掘平台所支撑，可充分利用云计算底层能力创造最大价值。

在海量静态数据批处理的场景下，大数据分析平台需要充分分析经过相当长一段时间积累的，存储容量庞大的历史数据（如话单、日志、话统信息等）。大数据分析平台的并行数据处理引擎进一步依赖于弹性计算集群、弹性存储服务、分布式结构化存储服务以及分布式消息队列服务，为诸如互联网电子商务网站用户、电信运营商的BSS/OSS系统、视频娱乐类网站、搜索类网站提供服务。大数据分析平台所提供的服务类型包括：信息库精细化搜索、用户消费行为日志分析、系统运行日志分析以及集中监控信令信息的智能分析和挖掘。这些大数据分析服务为精确定位广告推送、网络运维优化、基于用户消费趋势分析的销售策略优化等商业运营提供决策性支撑。

在大流量动态数据流处理的场景下，其关键特征在于对来自于数量庞大的信息源所产生的动态事件与动态数据（比如来自电信网络实时检测的信令信息、来自于众多车辆GPS的定位信息、来自物联网终端实时采集的信息等），在一个相对较短的时间窗口内，进行动态数据的流水线方式自动关联分析与处理，并给出及时、准确和智能的执行策略决策，为特定业务目标服务（如大规模智能交通云、物流云网络的构建）。与上节数据批处理在分割、合并与混排等中间步骤所涉及的大量持久化存储I/O交互方面的特征相比，其最大差异处在于，数据流处理过程更讲究处理的及时性与敏捷控制能力，因此处理过程主要在内存中完成。流处理与批处理可以统一在相同的框架引擎之下。

为便于广大第三方应用开发编程人员以及云计算平台生态系统的合作伙伴充分独立于海量数据批处理以及流处理业务的内部实现架构细节，可在并行数据分析引擎与并发应用之间设置SQL/类SQL适配与翻译层，提供开发人员所熟知的SQL或类SQL规范语言进行海量数据的操作。