当下流行的分布式文件系统大阅兵(1)

当下流行的分布式文件系统大阅兵(1)

本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。

51CTO编辑推荐：下一代Linux文件系统

Lustrewww.lustre.org）

lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数量存储系统。

lustre是开放源代码的集群文件系统，采取GPL许可协议，目前在集群计算机里，计算机与磁盘间数据交换的提升无法跟上微处理器和内存增长的速度，从而也拖累了应用程序的性能，一种新兴的集群文件系统软件提高了I/O速度，可能降低企业购买存储设备的成本并改变企业购买存储的方式，集群文件系统已经在大学、实验室和超级计算机研究中心里使用，而且即将进入通用商业计算市场。新的集群文件系统采用了开源的lustre技术，由美国能源部(Department Of Energy）开发，惠普公司(HP）提供商业支持。它显著提高了输入输出I/O)速度，目前已经在高校、国家实验室和超级计算研究中心产生了一定影响，未来几年中，它很有可能进入普通的商业计算机领域。

运行在linux下,开发语言c/c++

Hadoophadoop.apache.com）

hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

如下图是hadoop的体系结构：

授权协议apache,开发语言java，资源耗费有点大。

MogileFswww.danga.com）

Mogile Fs是一个开源的分布式文件系统，主要特征包括

1、应用层的组件

2、无单点故障

3、自动文件复制

4、具有比RAID更好的可靠性

5、无需RAID nigukefs支持 ，运行在linux下。

FreeNASwww.openqrm.org）

FreeNAS是网络附加存储(NAS)服务专用操作系统(FreeBSD的简化版 )。基于m0n0wall防火墙，该系统通过提供磁盘管理及RAID软件，可让用户home将PC转换为NAS服务器，支持FTP/NFS/RSYNC/CIFS/AFP/UNISON/SSH sourceforge.net/pro协议，旨在让人们重新使用旧硬件.

FastDFScode.google.com/p/fastdfs）

FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务， 如相册网站，视频网站等等。FastDFS服务端有两个角色：跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度的工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：

存储、同步、和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta data就是文件的相关属性，以键值对(key value pair)方式表示，如：width=1024,其中的key为width，value为1024。文件meta data是文件属性列表，可以包含多个键值树。

开发语言c/c++，运行在linux系统下。