hbase-0.98.1-cdh5.1.0伪分布式安装,hbase伪分布式安装


 分三步:

1. 添加环境变量

2.编辑hbase-env.sh文件

3.编辑hbase-site.xml 文件


前提条件是安装好hadoop,下面展开说明

1. 添加环境变量

export HBASE_HOME=/usr/local/cdh/hbase
export PATH=$PATH:$PIG_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$

2.编辑hbase-env.sh文件,添加:

export JAVA_HOME=/usr/local/java/jdk1.7.0_67 
export HBASE_CLASSPATH=/usr/local/cdh/hadoop/etc/hadoop

3.编辑hbase-site.xml 文件

<configuration>
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://cent:9000/hbase</value>
  </property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  </property>
</configuration>

4.启动

bin/start-hbase.sh
[root@cent hbase]# jps
7100 ResourceManager
7800 HMaster
6894 SecondaryNameNode
7745 HQuorumPeer
6729 DataNode
6631 NameNode
8158 Jps
7204 NodeManager
7932 HRegionServer


进入shell

[root@cent hbase]# bin/hbase shell

create 'test_pseudo', 'cf'

hbase(main):002:0> list
TABLE
test_pseudo
1 row(s) in 0.2130 seconds
=> ["test_pseudo"]



什是伪分布式?(hadoop中遇到的)

hadoop分为单机模式,伪分布式,和完全分布式。
你说的伪分布式是指:一个机器上,即当namenode,又当datanode,或者说即是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算,故称为"伪分布式"。
 

Hadoop中单机模式与伪分布式的不同是什

单机(非分布式)模式
这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。
注意事项:运行bin/hadoopjarhadoop-0.16.0-examples.jarwordcounttest-intest-out时,务必注意第一个参数是jar,不是-jar,当你用-jar时,不会告诉你是参数错了,报告出来的错误信息是:Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/util/ProgramDriver,笔者当时以为是classpath的设置问题,浪费了不少时间。通过分析bin/hadoop脚本可知,-jar并不是bin/hadoop脚本定义的参数,此脚本会把-jar作为Java的参数,Java的-jar参数表示执行一个Jar文件(这个Jar文件必须是一个可执行的Jar,即在MANIFEST中定义了主类),此时外部定义的classpath是不起作用的,因而会抛出java.lang.NoClassDefFoundError异常。而jar是bin/hadoop脚本定义的参数,会调用Hadoop自己的一个工具类RunJar,这个工具类也能够执行一个Jar文件,并且外部定义的classpath有效。
伪分布式运行模式
这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份。从分布式应用的角度来说,集群中的结点由一个JobTracker和若干个TaskTracker组成,JobTracker负责任务的调度,TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上,这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。
 

相关内容