让数据飞加州理工展示快过子弹数据传输速度


2011世界超级计算机大会的主题是"向TB每秒进军",而CalTech加州理工学院)用实际行动支持了这一点,在一项将1PBpetabyte)数据从位于华盛顿州西雅图的数据中心传输到加拿大的维多利亚大学的项目中展示出惊人的数据传输速度,两地相距212公里,1PB1048576GB)的数据相当于2亿5千万首MP3。

CalTech的研究团队应用了精密协调的服务器群以及与布加勒斯特理工大学共同开发的FastDataTransportFDT)传输应用。FDT作为一个开源的Java应用,可以在各种主流平台上运行,使用了NIO库,通过开放的TCP接口流式传输大文件。

DellForce10Z9000Layer3交换机--32插口光纤连接器,对带宽几乎没有任何限制。

研究人员使用的是未验证的测试样例,SuperMicro、Tyan和其他供应商提供了带有PCIeGen3的SandyBridge-based服务器主板。Mellanox提供了遵从PCIeGen3的双端口40GENIC,ConnectX-3。

传输过程中并不意外的出现了一些数据崩溃、框架错误以及流量丢失等问题。然而,研究人员报告说BrocadeMLXe-4100G交换机路由和Dell的Force10Z9000交换机提供了120GB每秒的端口通道,而且在其中没有出现数据包丢失。在展厅中的SuperMicro和Dell服务器上写入速度达到了每秒60GB,在维多利亚大学使用的是Dell提供的R710服务器。

参展人员被允许使用强大而复杂的Scinet来展示他们的项目。为了这次大会,Scinet在参展区域连接了多条线路,使用多条全新的100G国家科研网络连接,达到了每秒超过450GB的传输速度。在Scinet的一套CienaOME6500与加拿大BCNet的另一套OME6500之间建立了一条OTU4光纤连接。在单独的光纤通道中,1PB的物理数据传递在24小时内完成,速度大约是每秒95GB而且非常稳定。

Ciena对外研究部高级总监RodWilson对这个项目的重要性作出这样的评论,"高容量、高性能的网络在全球的科研与教育研究中起到了关键性的角色,帮助科研机构能够携手合作,共同研究、开发与探索尖端的科技领域"。

100GEWideArea网络示意模型

CANARIECanada'sAdvancedResearchandInnovationNetwork)总裁兼CEOJimRoche对CalTech项目的需求做出了解释:"对带宽的需求不断增加,因为科研人员从事的工作需要更密集的数据和更好的协作性"。

CANARIE是一家位于加拿大的高速光纤网络,在加拿大境内的光纤长度已达到19000公里,同时连接世界各地的学校、医院与实验室。Roche表示:"根据CANARIE的记录,从2007年以来,在CANARIE网络上的数据传输量已经增加了284%"。这种趋势随着全球范围内科研工作向着数据密集型转变而会越发加速。科研人员们希望更快更好的协作工作能够帮助他们进一步提高生产力,加速探索尖端技术。
 

编辑推荐】

相关内容