IBM BigInsights 架构中的 HBase

IBM Big Data大数据)产品 InfoSphere BigInsights 是大数据管理与分析平台, 其底层架构也采用了 Hadoop 和 HBase 对结构化和非结构化数据进行存储和查询。

BigInsightsz 集群软件层次中的 HBase

BigInsights 整合了很多已有的 Hadoop 开源组件,如 HDFS, MapReduce, HBase, Zookeeper 等,将它们很好的融入 BigInsights 软件体系,并与其他 BigInsights 的组件一起协同工作在同一个平台上。 HBase 被用作 BigInsights 的存储数据库,Zookeeper 被用作 BigInsights 的服务协同组件。如果要使用 HBase, 我们需要同时安装 Hadoop, Zookeeper, 因为 HBase 采用 Hadoop 作为其文件系统,采用 Zookeeper 作为其服务协同支持。

当把 BigInsights 部署到一个集群上时,软件层次的结构如图 2. 所示:

图 2. BigInsights 中 Hadoop 开源组件列表

HBase 安装和配置

BigInsights 产品集成了经过 IBM JDK 编译和一定改进扩展后的 HBase。在 BigInsights 产品的安装过程中可以通过安装界面选择和配置 HBase, 配置内容包括指定 HBase 安装路径,日志目录,指定集群中 HBase Master 和 HBase Regionservers 节点以及服务端口。HBase 的二进制软件包默认安装和配置在 BigInsights 集群的所有节点上,也就是说安装完 BigInsights 以后的每个 BigInsights 节点都可以作为 HBase 的客户端使用。

在安装 BigInsights 之前,需要从解压以后的根目录下运行 start.sh 脚本,然后在浏览器中输入 URL http://your-server:8300/Install/ 打开安装向导,安装向导将引领您完成后续的安装步骤,安装过程将包括:安装类型选择多节点分布式集群安装和配置)选择,文件系统选择,组,用户名及 SSH 配置,指定集群节点,组件安装,安全类型选择等,下面给出具体的 HBase 以及 Zookeeper 的安装配置实例。

图 3. HBase 安装和配置

图 4. Zookeeper 安装和配置

最后,当安装完成以后,点击“Finish”或者在后台命令行运行“start.sh shutdown”关闭安装向导。


相关内容