CentOS6.5环境搭建分布式存储FastDFS-5.0.5集群详细过程，fastdfs分布式集群
CentOS6.5环境搭建分布式存储FastDFS-5.0.5集群详细过程，fastdfs分布式集群
FastDFS架构简介
FastDFS是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。FastDFS 是包括一组 Tracker Server 和 Storage Server 的。Tracker Server 与 Storage Server 之间不直接通信，其基本的信息由配置文件在系统启动加载时获知。多台 Tracker Server 之间保证了 Tracker 的分布式，Tracker Server 之间是对等的，防止了单点故障。 Storage Server 是分成多个 Group，每个 Group 中的Storage 都是互相备份的，也就是说，如果 Group1 有 Storage1、Storage2、Storage3，其容量分别是100GB、100GB、100GB，那么 Group1 的存储能力是 100GB，而不是 300GB，这就是互相备份的意思。进一步说，整个 Group 的存储能力由该组中该储能力最小的 Storage 决定。多个 Group 之间的存储方式，可以采用 round robin（轮训）、load balanced（负载均衡）或指定 Group 的方式。另一点相对于MS（Master-Slave）模式的优势，就是 Tracker Server 与 Master 是决然不同的，不仅 master 有上面可能提到的单点故障问题，而且 client 与 master 之间可能会出现瓶颈。但 FastDFS 架构中，Tracker Server 不会称为系统瓶颈，数据最终是与一个 available 的 Storage Server 进行传输的。
上传流程
我们可以通过 FastDFS 对文件的上传过程，来初步了解 FastDFS 的基本架构。首先客户端 client 发起对 FastDFS 的文件传输动作，是通过连接到某一台 Tracker Server 的指定端口来实现的，Tracker Server 根据目前已掌握的信息，来决定选择哪一台 Storage Server ，然后将这个Storage Server 的地址等信息返回给 client，然后 client 再通过这些信息连接到这台 Storage Server，将要上传的文件传送到给 Storage Server上。
总结
简单总结一下，FastDFS的特点包括（1）高可靠性：无单点故障；（2）高吞吐量：只要 Group 足够多，数据流量是足够分散的。
FastDFS部署：
1、机器分布
Tracker 192.168.100.106:22122 CentOS
Group1-Storage1 192.168.100.106:23001 CentOS
Group1-Storage1 192.168.100.125:23001 CentOS
2、需要到的软件和版本（软件存放位置:/root/soft）
说明：nginx主要实现负载均衡、缓存等功能
3、创建相关文件夹
配置tracker所需的base_path: /opt/fastdfs_tracker
配置storage所需的日志目录：fastdfs_storage_info。备注：存储storage之间同步文件等日志的
配置storage所需的存储文件目录: /opt/fastdfs_storage_data。备注: 这个目录是用来存储文件的
以上三个文件将在后续的tracker.conf和storage.conf、mod_fastdfs.conf中用到
4、安装libfastcommon-1.0.7.zip (注意：先检查是否安装unzip、zip、gcc、perl等)
unzip libfastcommon-1.0.7.zip
cd libfastcommon-1.0.7
sh make.sh && sh make.sh install
perl安装：
wget http://www.cpan.org/src/5.0/perl-5.20.2.tar.gz
tar zxvf perl-5.20.2.tar.gz
mkdir /usr/local/perl
./Configure -des -Dprefix=/usr/local/perl -Dusethreads -Uversiononly
make
make install
perl -version
注意：上述安装路径在/usr/lib64/，FastDFS主程序设置lib目录是/usr/local/lib，创建软连接如下:
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
5、安装fastdfs-5.05.tar.gz:
tar -zxvf fastdfs-5.05.tar.gz
cd fastdfs-5.05
./make.sh && ./make.sh install
进入/etc/fdfs这个目录，如果有配置文件存在，则安装成功
以上步骤在tracker和storage机器上都需要执行
6、配置tracker (192.168.100.106)
进入/etc/fdfs文件夹，执行命令: cp tracker.conf.sample tracker.conf。
编辑tracker.conf，执行命令: vi tracker.conf ，配置成如下:
disabled=false #false代表开启配置文件
bind_addr= #空代表所有host，也可以指定host
port=22122 #tracker默认开启的端口号
connect_timeout=30 #连接超时时间
network_timeout=60 #网络超时时间
base_path=/opt/fastdfs_tracker #存放store的数据和日志文件
max_connections=256 #允许最大连接数
accept_threads=1 #允许的线程数
work_threads=4 #工作线程数，必须小于等于max_connections
store_lookup=2 #选择上传文件方式0：轮询，1：指定组，2：负载均衡
store_group=group1 #上传到组group1
store_server=0 #上传到storage,0:轮询,1:IP顺序,2:服务器顺序
store_path=0 #上传文件到哪个路径0:轮询,2:负载均衡
download_server=0 #指定下载服务器0:轮询，1：使用源服务器
reserved_storage_space = 10% #保留的存储空间
log_level=info #日志等级
run_by_group= #选择用户组，空代表当前用户组
run_by_user= #选择用户，空代表当前用户
allow_hosts=* #允许访问的IP，*代表全部
sync_log_buff_interval = 10 #同步日志buff到磁盘的间隔时间
check_active_interval = 120 #检查storage状态间隔时间
thread_stack_size = 64KB #线程的堆栈大小，必须大于等于64KB
storage_ip_changed_auto_adjust = true #storageIP改变是自动调整
storage_sync_file_max_delay = 86400 #同步文件的最大延迟
storage_sync_file_max_time = 300 #同步文件的最大时间
use_trunk_file = false #是否使用中继文件存储小文件
slot_min_size = 256 #存储文件的最小单位，必须大于等于4KB
slot_max_size = 16MB #存储文件的最大单位，必须大于slot_min_size
trunk_file_size = 64MB #中继文件的大小，必须大于等于4MB
trunk_create_file_advance = false #是否允许创建中继文件超前
trunk_create_file_time_base = 02:00 #创建trunk文件的时间基准
trunk_create_file_interval = 86400 #创建trunk文件的时间间隔
trunk_create_file_space_threshold = 20G
trunk_init_check_occupying = false
trunk_init_reload_from_binlog = false
trunk_compress_binlog_min_interval = 0
use_storage_id = false
storage_ids_filename = storage_ids.conf
id_type_in_filename = ip
store_slave_file_use_link = false
rotate_error_log = false
error_log_rotate_time=00:00
rotate_error_log_size = 0
log_file_keep_days = 0
use_connection_pool = false
connection_pool_max_idle_time = 3600
http.server_port=8080
http.check_alive_interval=30
http.check_alive_type=tcp
http.check_alive_uri=/status.htm
配置文件详细注解参考：
http://blog.csdn.net/xingjiarong/article/details/50752586
启动tracker： /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf start (start\stop\restart)
检测是否启动成功：netstat -lntup|grep fdfs_trackerd
设置开机启动：
echo "/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start" >> /etc/rc.d/rc.local
7、配置storage (192.168.100.106\192.168.100.125)
进入/etc/fdfs文件夹，执行命令: cp storage.conf.sample storage.conf
编辑storage.conf，执行命令: vi storage.conf ，配置成如下:
disabled=false
group_name=group1
bind_addr=
client_bind=true
port=23001
connect_timeout=30
network_timeout=60
heart_beat_interval=30
stat_report_interval=60
base_path=/opt/fastdfs_storage_info
max_connections=256
buff_size = 256KB
accept_threads=1
work_threads=4
disk_rw_separated = true
disk_reader_threads = 1
disk_writer_threads = 1
sync_wait_msec=50
sync_interval=0
sync_start_time=00:00
sync_end_time=23:59
write_mark_file_freq=500
store_path_count=1
store_path0=/opt/fastdfs_storage_data
subdir_count_per_path=256
tracker_server=192.168.100.106:22122
log_level=info
run_by_group=
run_by_user=
allow_hosts=*
file_distribute_path_mode=0
file_distribute_rotate_count=100
fsync_after_written_bytes=0
sync_log_buff_interval=10
sync_binlog_buff_interval=10
sync_stat_file_interval=300
thread_stack_size=512KB
upload_priority=10
if_alias_prefix=
check_file_duplicate=0
file_signature_method=hash
key_namespace=FastDFS
keep_alive=0
use_access_log = false
rotate_access_log = false
access_log_rotate_time=00:00
rotate_error_log = false
error_log_rotate_time=00:00
rotate_access_log_size = 0
rotate_error_log_size = 0
log_file_keep_days = 0
file_sync_skip_invalid_record=false
use_connection_pool = false
connection_pool_max_idle_time = 3600
http.domain_name=
http.server_port=8888
配置文件详细注解参考：
http://blog.csdn.net/xingjiarong/article/details/50752586
启动storage: /usr/local/bin/fdfs_storage /etc/fdfs/storage.conf start
检测是否启动成功：netstat -lntup|grep fdfs_storaged
检测启动状态：/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
查看192.168.100.106:23001 是ACTIVE状态即可
设置开机自动启动：
echo "/usr/bin/fdfs_trackerd /etc/fdfs/storage.conf start" >> /etc/rc.d/rc.local
8、安装nginx
storage中安装nginx，主要是为了为提供http的访问服务，同时解决group中storage服务器的同步延迟问题。而tracker中安装nginx，主要是为了提供http访问的反向代理、负载均衡以及缓存服务
yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel
a、在storage中安装nginx (192.168.100.106\192.168.100.125)
tar -zxvf nginx1.7.8.tar.gz
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
cd /root/soft/fastdfs-nginx-module/src
编辑config文件，找到包含CORE_INCS这个一行，将路径中local全部去掉，变为CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
cd nginx1.7.8
--prefix=/opt/nginx --add-module=/root/soft/fastdfs-nginx-module/src
make && make install
编辑nginx.conf文件如下：
将http.conf和mime.types拷贝到/etc/fdfs/下，如果不执行这一步，启动nginx时会报错。
cp /root/soft/fastdfs-5.05/conf/http.conf /etc/fdfs/
cp /root/soft/fastdfs-5.05/conf/mime.conf /etc/fdfs/
将mod_fastdfs.conf这个文件拷贝到 /etc/fdfs 目录下
cp /root/soft/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
编辑mod_fastdfs.conf 文件如下：
connect_timeout=2
network_timeout=30
base_path=/opt/fastdfs_storage_info
load_fdfs_parameters_from_tracker=true
storage_sync_file_max_delay = 86400
use_storage_id = false
storage_ids_filename = storage_ids.conf
tracker_server=192.168.100.106:22122
storage_server_port=23001
group_name=group1
url_have_group_name = true
store_path_count=1
store_path0=/opt/fastdfs_storage_data
log_level=info
log_filename=
response_mode=proxy
if_alias_prefix=
flv_support = true
flv_extension = flv
group_count = 1
[group1]
group_name=group1
storage_server_port=23001
store_path_count=1
store_path0=/opt/fastdfs_storage_data
store_path1=/opt/fastdfs_storage_data
配置文件详细注解参考：
http://blog.csdn.net/xingjiarong/article/details/50752586
建立软连接：
ln -s /opt/fastdfs_storage_data/data /opt/fastdfs_storage_data/data/M00
启动nginx: /opt/nginx/sbin/nginx
b、在tracker中安装nginx
tar -zxvf nginx1.7.8.tar.gz
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
cd /root/soft/fastdfs-nginx-module/src
编辑config文件，找到包含CORE_INCS这个一行，将路径中local全部去掉，变为CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
cd nginx1.7.8
--prefix=/opt/nginx --add-module=/root/soft/fastdfs-nginx-module/src --add-module=/root/soft/ngx_cache_purge-2.1 --with-http_ssl_module --with-pcre=/root/soft/pcre-8.40 --with-zlib=/root/soft/zlib-1.2.11
make && make install
编辑nginx.conf文件如下：
启动nginx：/opt/nginx/sbin/nginx
9、测试并上传文件
编辑client.conf 文件，编辑内容如下:
测试上传文件：
echo "this is a test file -- hello world" >> test.txt
/usr/bin/fdfs_test /etc/fdfs/client.conf upload test.txt #上传
生成如下url，并复制到浏览器访问
以上测试说明成功，并且两台stroage同步成功了
测试负载均衡办法：停掉192.168.100.125或者192.168.100.106的storage再进行上传测试
/usr/local/bin/fdfs_storage /etc/fdfs/storage.conf stop
10、PHP安装FasfDFS扩展模块
cd /root/soft/fastdfs-5.05/client
make && make install
cd /root/soft/fastdfs-5.05/php_client
/usr/local/php/bin/phpize
./configure --with-php-config=/usr/local/php/bin/php-config
make && make install
cd /etc/fdfs
vi client.conf
tracker_server=192.168.100.106:22122 //根据环境填写IP地址及端口号
在php.ini配置文件中加载fastdfs
cat fastdfs_client.ini >> /usr/local/php/etc/php.ini
新增nginx配置如下：
server {
listen 8080;
server_name localhost;
access_log /data/wwwlogs/access_nginx_cms.log combined;
root /opt/nginx/html;
index index.html index.htm index.php forum.php;
location /nginx_status {
access_log off;
allow 127.0.0.1;
deny all;
}
error_page 404 /404.html;
location ~ [^/]\.php(/|$) {
fastcgi_pass 192.168.100.106:9000;
fastcgi_index index.php;
include /usr/local/nginx/conf/fastcgi_params;
include fastcgi.conf;
}
location \(gif|jpg|jpeg|png|bmp|swf|flv|ico)$ {
expires 30d;
access_log off;
}
location \(js|css)?$ {
expires 7d;
access_log off;
}
}
重启nginx和php
/opt/nginx/sbin/nginx -s reload
或者
pkill -9 nginx
/opt/nginx/sbin/nginx
kill -USR2 `cat /usr/local/php/var/run/php-fpm.pid`
或者
pkill -9 php
/usr/local/php/sbin/php-fpm
测试：在浏览器中输入：http://192.168.100.106:8080/fastdfs_test.php
如果出现类似于以下截图则表示成功
评论暂时关闭