Linux系统下SolrCloud集群搭建教程，linuxsolrcloud


一、SolrCloud概述

SolrCloud(solr 云)是 Solr 提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 来满足这些需求。

SolrCloud 是基于 Solr 和Zookeeper的分布式搜索方案，它的主要思想是使用 Zookeeper作为集群的配置信息中心。

它有几个特色功能：

集中式的配置信息自动容错近实时搜索查询时自动负载均衡

二、SolrCloud系统架构

2.1、物理结构

三个 Solr 实例（ 每个实例包括两个 Core），组成一个 SolrCloud。

2.2、逻辑结构

索引集合包括两个 Shard（shard1 和 shard2），shard1 和 shard2 分别由三个 Core 组成，其中一个 Leader 两个 Replication，Leader 是由 zookeeper 选举产生，zookeeper 控制每个shard上三个 Core 的索引数据一致，解决高可用问题。

用户发起索引请求分别从 shard1 和 shard2 上获取，解决高并发问题。

(1)Collection

Collection 在 SolrCloud 集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个 Shard（分片），它们使用相同的配置信息。

比如：针对商品信息搜索可以创建一个 collection。

collection=shard1+shard2+....+shardX

(2)Core

每个 Core 是 Solr 中一个独立运行单位，提供 索引和搜索服务。一个 shard 需要由一个Core 或多个 Core 组成。由于 collection 由多个 shard 组成所以 collection 一般由多个 core 组成。

(3)Master 或 Slave

Master 是 master-slave 结构中的主结点（通常说主服务器），Slave 是 master-slave 结构中的从结点（通常说从服务器或备服务器）。同一个 Shard 下 master 和 slave 存储的数据是一致的，这是为了达到高可用目的。

(4)Shard

Collection 的逻辑分片。每个 Shard 被化成一个或者多个 replication，通过选举确定哪个是 Leader。

三、SolrCloud搭建

3.1、环境VM CentOS7

分配2台虚拟机用于搭建SolrCloud

CentOS04：192.168.1.102

CentOS05：192.168.1.106

注意：CentOS01-CentOS03用于搭建Zookeeper集群

3.2、搭建准备步骤

(1) Linux安装Tomcat --- 略过

(2) Tomcat安装Solr、IK等 --- 略过

(3) 在Linux中创建文件夹

mkdir /usr/local/solr-cloud

(4) 复制已经配置好Solr的tomcat至solr-cloud --- CentOS04和CentOS05都执行该操作

cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-1
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-2

(5) 在Linux中创建solrhomes--- CentOS04和CentOS05都执行该操作

mkdir /usr/local/solrhomes

(6) 复制已经配置的solrhome

cp -r solrhome /usr/local/solrhomes/solrhome-1
cp -r solrhome /usr/local/solrhomes/solrhome-2

(7) 进入/usr/local/solr-cloud/tomcat-1/webapps/solr/WEB-INF，修改web.xml的solrhome配置，其他tomcat配置同理


           solr/home
           /usr/local/solrhomes/solrhome-1
           java.lang.String

(8) 修改tomcat-1端口，其他tomcat端口修改同理


....

....

....

说明：

(1) 第一个端口是tomcat服务器关闭端口

(2) 第二个端口是tomcat访问端口

(3) 第三个端口是tomcat与apche交互端口

3.3、搭建步骤

(1) 在tomcat-1/bin目录中修改catalina.sh文件配置 --- 其他tomcat修改同理

把JAVA_OPTS的值修改成：(配置大概在234行)

JAVA_OPTS="-DzkHost=192.168.1.103:2181,192.168.1.104:2181,192.168.1.105:2181"

JAVA_OPTS ,顾名思义,是用来设置JVM相关运行参数的变量 . 此配置用于在tomcat启动时找到 zookeeper集群。

(2) 修改/solrhomes/solrhome-1的solr.xml文件--- 其他solr.xml修改同理



  
    192.168.1.102
    8180
    ${hostContext:solr}
    ${zkClientTimeout:30000}
    ${genericCoreNodeNames:true}
  

  
    ${socketTimeout:0}
    ${connTimeout:0}

配置说明：

host：指向的是tomcat-1的主机名

hostPort：指向的是tomcat-1的port端口号

(3)让zookeeper 统一管理配置文件。--- 只需要执行一次即可，任意collection

需要把 solrhome下collection1/conf 目录上传到zookeeper。上传任意 solrhome 中的配置文件即可。

我们需要使用solr给我们提供的工具上传配置文件：

solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

将solr-4.10.3压缩包上传到linux，解压

tar zxvf solr-4.10.3

然后进入

solr-4.10.3/example/scripts/cloud-scripts目录 ，执行下列命令

./zkcli.sh -zkhost 192.168.1.103:2181,192.168.1.104:2181,192.168.1.105:2181 -cmd upconfig -confdir /usr/local/solrhomes/solrhome-1/collection1/conf -confname myconf

说明：

-zkhost --- 指定zookeeper地址列表

-cmd --- 指定命令。upconfig 为上传配置的命令

-confdir --- 配置文件所在目录

-confname --- 配置名称

(4) 启动solr，即启动tomcat

如果遇到没有授权，授权即可

chmod -R 777 /usr/local/solr-cloud

(5) 访问solr

http://192.168.1.102:8180/solr，如果出现cloud说明集群搭建成功，如下图：(异常可以忽略，与集群搭建无关)

\

四、应用程序连接SolrCloud集群

在SolrJ中提供一个叫做CloudSolrServer的类，它是SolrServer的子类，用于连接

solrCloud ，它的构造参数就是zookeeper的地址列表，另外它要求要指定

defaultCollection属性（默认的 collection名称）

五、分片配置

(1) 创建新的Collection进行分片处理

在浏览器输入以下地址，创建新的Collection

http://192.168.1.102:8180/solr/admin/collectionsaction=CREATE&name=collection2&numShards=2&replicationFactor=2

参数说明：

name:将被创建的集合的名字numShards:集合创建时需要创建逻辑碎片的个数replicationFactor:分片的副本数。

(2) 删除不用的 Collection。执行以下命令

http://192.168.1.102:8180/solr/admin/collectionsaction=DELETE&name=collection1

相关内容