华为首创图计算HIMM模型 开启图数据高效处理

华为首创图计算HIMM模型 开启图数据高效处理

华为今日宣布，中央研究院香农实验室在2013Hadoop中国技术峰会(China Hadoop Summit 2013)上提出业界首创的HIMM (Hybrid Iterative Matrix Multiplication) 模型。使用该模型表达的图数据挖掘算法能够获得10倍的性能提升，这对于大数据处理的实时性具有重要意义。

Hadoop中国技术峰会于2013年11月23日在北京圆满落幕。作为本年度大中华地区规模最大的Hadoop技术峰会，本届大会的主题是“掘金大数据”。 华为香农实验室的首席研究员颜友亮发表了“HiGraph：一种面向图计算的领域编程语言”的演讲，介绍了华为香农实验室在图计算以及Spark(Berkeley AMP Lab开发的一种基于内存计算的并行计算框架)上所取得的研究成果。

“大数据时代的一个重要方面就是图的规模越来越大。”颜友亮说，“Facebook人际关系网，包含顶点数目超过10亿。其他网络的规模也在数千万顶点左右。这使得这些图上的大量应用，例如好友推荐、寻找最短路径等无法准实时地得到结果。”

华为香农实验室提出业界首创的HIMM模型，与传统图计算模型相比，具有操作更简单，接口更实用，编程更轻松等优点。算法开发者使用了HIMM模型，不仅可以用矩阵的方式来表达图结构，而且还可以用自定义的矩阵运算来表达图上的各种操作，并通过提供一整套图计算算子来实现高效的并行图算法。在底层框架上，基于HIMM的图计算框架HiGraph会根据不同的硬件环境实现有针对性的一些优化措施，使得HiGraph的性能相比于业界获得显著提升。通过测试Pagerank和单源最短路径的算法，结果显示：在集群环境模式下，HiGraph借助Spark在迭代计算上的优势，相比其他的解决方案如Bagel和Giraph，HiGraph的性能提高3倍到20倍;在单机环境模式下，HiGraph充分利用了多核的并行处理能力，实现最大化的并行加速设计，使得在业界开源方案的性能上获得了至少10倍的提升。

“我们的HiGraph性能比业界高出了一个数量级，能够在秒级完成PageRank、单源最短路径等算法，完全能够胜任大数据处理实时性的要求。”颜友亮说道。

HIMM模型与HiGraph框架对于完善香农实验室在高性能计算研究的布局具有重要意义。华为香农实验室也将继续在图计算领域和Spark框架上发力，并进一步完善HiGraph，为华为的大数据研究提供了坚实基础，助力华为更好地进驻大数据领域。