“大数据”带来的挑战 分布式核心引领网络新方向(1)

“大数据”带来的挑战 分布式核心引领网络新方向(1)

在云计算时代数据中心规模将扩展到成千上万台服务器，然而，在大规模数据中心的集群计算环境中，节点之间的通信带宽日益成为主要瓶颈，IT系统架构师们正在寻求这些服务器网络连接的更好途径，以提高性能、减少成本和能耗并支持无缝横向扩展，分布式核心网络为应对这些挑战提供新思路和新方法。

“大数据”Big Data）的挑战

日益增多的网站、门户、搜索引擎和分析应用程序正在处理非常大的数据集，即所谓“大数据”。大数据就是一些数据集，其规模超过了常用软件工具在可容忍的流逝的时间内对其进行捕捉、管理和处理的能力。大数据规模从包含几TB到几PB数据集不等，要求高性能系统实时地或者接近实时地处理大量数据。适用于大数据的技术包括大规模并行处理MPP）数据库、数据挖掘网格计算、Apache Hadoop框架、分布式文件系统、分布式数据库、Map Reduce算法、云计算平台、互联网和归档存储系统。大数据一般采用庞大的计算集群和先进技术及算法来减少数据集，并控制数据如何进出服务器，需要以非常高速和高性能的方式连接计算机的最新网络架构。目前，各个网络厂商正在以支持大型计算集群的新网络架构配置来应对这些需求。传统分层网络图1）分为核心层、汇聚层和接入层，对于担负以往工作负载的数据中心是也许适用的。 

 
图1 传统三层数据中心架构

当通信方式以南北方向换句话说，就是进出数据中心的通信）占主导地位的时候，传统数据中心三层架构还是具有优势的。但是当通信以东西方向为主导地位时候如计算集群或虚拟化计算，如图2），分布式核心架构就非常适合。
 

 
图2 新一代数据中心流量模型