搭建MongoDB Sharding集群

搭建MongoDB Sharding集群

从1.6版本起，MongoDB开始正式支持Sharding

同时，MongoDB也推出了Replica Sets，用以替代之前版本的Replica Pairs

通过把Sharding和Replica Sets相结合，我们可以搭建一个分布式的，高可用性，自动水平扩展的集群

一个典型的集群结构如下：

集群由以下3个服务组成：

1. Shards Server: 每个shard由一个或多个mongod进程组成，用于存储数据
2. Config  Server: 用于存储集群的Metadata信息，包括每个Shard的信息和chunks信息
3. Route   Server: 用于提供路由服务，由Client连接，使整个Cluster看起来像单个DB服务器

另外，Chunks是指MongoDB中一段连续的数据块，默认大小是200M，一个Chunk位于其中一台Shard服务器上

下面，搭建一个Cluster，它由4台服务器组成，包括2个Shard，3个Config，1个Route

其中每个Shard由一个Replica Set组成，每个Replica Set由2个Mongod节点，1个vote节点组成

以下是搭建配置的过程：

1. 四台服务器分别启动相应的Mongod进程：

192.168.95.216
/usr/local/mongodb/bin/mongod –fork –shardsvr –port 10000 –replSet set1 –dbpath /pvdata/mongodb_data  –logpath /pvdata/mongodb_log/mongod.log
/usr/local/mongodb/bin/mongod –fork –shardsvr –port 10001 –replSet set2 –dbpath /pvdata/mongodb_data1  –logpath /pvdata/mongodb_log/mongod1.log

192.168.95.217
/usr/local/mongodb/bin/mongod –fork –shardsvr –port 10000 –replSet set1 –dbpath /pvdata/mongodb_data  –logpath /pvdata/mongodb_log/mongod.log

192.168.95.218
/usr/local/mongodb/bin/mongod –fork –shardsvr –port 10000 –replSet set2 –dbpath /pvdata/mongodb_data  –logpath /pvdata/mongodb_log/mongod.log
/usr/local/mongodb/bin/mongod –fork –shardsvr –port 10001 –replSet set1 –dbpath /pvdata/mongodb_data1  –logpath /pvdata/mongodb_log/mongod1.log

192.168.95.137
/usr/local/mongodb/bin/mongod –fork –shardsvr –port 10000 –replSet set2 –dbpath /opt/mongodb_data  –logpath /opt/mongodb_log/mongod.log

2. 分别配置2组Replica Sets：

192.168.95.216
mongo –port 10000
    config = {_id: 'set1', members: [
        {_id: 0, host: '192.168.95.216:10000'},
        {_id: 1, host: '192.168.95.217:10000'},
        {_id: 1, host: '192.168.95.218:10001', arbiterOnly: true}
    ]}
    rs.initiate(config)
    rs.status()

192.168.95.218
mongo –port 10000
    config = {_id: 'set2', members: [
        {_id: 0, host: '192.168.95.218:10000'},
        {_id: 1, host: '192.168.95.137:10000'},
        {_id: 1, host: '192.168.95.216:10001', arbiterOnly: true}
    ]}
    rs.initiate(config)
    rs.status()

注意：2台Server上的10001对应的Mongod，它们只负责在某个node down掉后，进行vote选举新的master，它们本身并不存储数据备份

3.配置3台Config Servers：

mongod –configsvr –fork –logpath /pvdata/mongodb_log/config.log –dbpath /pvdata/mongodb_config_data –port 20000

4.配置1台Route Server：

192.168.95.216
/usr/local/mongodb/bin/mongos –fork –chunkSize 1 –configdb "192.168.95.216:20000,192.168.95.217:20000,192.168.95.218:20000" –logpath /pvdata/mongodb_log/mongos.log

chunkSize参数用来设置chunk块的大小，这里为了测试，设置成1M