fedora20安装hadoop-2.5.1，hadoop-2.5.1


首先感谢作者lxdhdgss，他的博文直接帮助了我如何安装hadoop，下面是他的博文修改版，用于安装在fedora20上面的，jdk1.8版本。

到hadoop官网去copy一下链接地址（hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz），在终端wget url(下载链接地址)，会直接下载到当前目录下。然后解压，tar xvf apache-hadoop-2.5.1.tar.gz，解压下载的tar.gz。会看到一个名为hadoop-2.5.1的文件夹，把它拷贝到自己平时安装软件的地方，比如我是/opt/lib64/下面，命令是mv hadoop-2.5.1 /opt/lib64/。

 

下面就需要对Hadoop进行设置了。

 

首先vim /etc/profile,增加

 

Xml代码  收藏代码
  1. #设置jdk的安装路径
    export JAVA_HOME=/opt/lib64/jdk1.8.0_20
  2. #指定CLASSPATH和PATH
    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
  3. #设置的hadoop的环境变量
    export HADOOP_HOME=/opt/lib64/hadoop-2.5.1
    export PATH=$HADOOP_HOME/bin:$PATH
    export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

 

保存(ESC,:wq)

哦，别忘了在终端执行命令下source /etc/profile,让修改过的profile马上生效。

 

然后进入hadoop下面的etc/hadoop/（不是系统的etc，是hadoop下面的），ls，看到很多配置文件。

先vi hadoop-env.sh

 

Java代码  收藏代码
  1. export JAVA_HOME=/opt/lib64/jdk1.8.0_20  保存退出  

 

 

vim yarn-env.sh 

 

Java代码  收藏代码
  1. export JAVA_HOME=/opt/lib64/jdk1.8.0_20  保存退出  

 

 

vim core-site.xml

 

Xml代码  收藏代码
  1. <configuration>  
  2.   <property>  
  3.      <name>fs.default.name</name>  
  4.      <value>hdfs://localhost:9000</value>  
  5.   </property>  
  6.   <property>  
  7.      <name>hadoop.tmp.dir</name>  
  8.      <value>/home/hadoop/xxx/tmp </value>  
  9.   </property>  
  10. </configuration>  

 

vim hdfs-site.xml

 

Xml代码  收藏代码
  1. <configuration>  
  2. <property>  
  3.   <name>dfs.namenode.name.dir</name>  
  4.   <value>file:/home/hadoop/dfs/name</value>  
  5. </property>  
  6. <property>  
  7.   <name>dfs.namenode.data.dir</name>  
  8.   <value>file:/home/hadoop/dfs/data</value>  
  9. </property>  
  10. <property>  
  11.   <name>dfs.replication</name>  
  12.   <value>1</value>  
  13. </property>  
  14. </configuration>  

 -------------------------补充---------------ssh免登陆设置

还有就是：由于原文没有设置如何面验证登陆ssh，这边给与补充。

由于fedora已经默认安装了openssh，所以不用再此安装ssh了。直接直接配置以下就可以了

 配置 SSH 免密码登陆 ，下面是bash命令，直接在终端输入（最好是root身份，如何root？只要终端输入su，然后root的密码就可以登陆root账户了）

就可以了。到此就大功告成了

-----------------------------------------------------------------------------

好了，现在可以启动看看了

先格式化，这个很重要。

 

bash命令  收藏代码
  1. hadoop namenode -format  

 这句话基本上就是把目前你的hadoop系统确定一下结构，我们的hadoop系统中，一般是一个namenode+多个datanode。

 

namenode相当于顾客房间表，datanode相当于具体的房间。

 

然后启动hadoop吧。

到hadoop的根目录，

bash命令  收藏代码
  1. sbin/start-dfs.sh  

 然后再启动yarn，因为2.5.0的版本，早就已经是以yarn这种更好的架构来运行了。

终端显示  收藏代码 Starting namenodes on [localhost]
root@localhost's password:
localhost: starting namenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-namenode-localhost.localdomain.out
root@localhost's password:
localhost: starting datanode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
root@0.0.0.0's password:
0.0.0.0: starting secondarynamenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-secondarynamenode-localhost.localdomain.out

 

 

终端显示  收藏代码
  1. sbin/start-yarn.sh  

 然后查看一下开启的进程

 

 

bash命令  收藏代码 终端显示  收藏代码 [root@localhost hadoop-2.5.1]# jps
30305 DataNode
26243 org.eclipse.equinox.launcher_1.3.0.v20140415-2008.jar
26645 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar
30583 SecondaryNameNode
8216 ResourceManager
30092 NameNode
30831 Jps
8511 NodeManager

 说明hadoop已经启动成功。

 

打开http://localhost:50070,可看到hadoop的管理界面，导航栏的最后一项还可以查看hadoop里面的文件。

我们来试着传个文件，到/home下面，新建一个文件，vim test.txt,随便写些东西。保存。

然后把这个文件上传。

 

bash命令  收藏代码
  1. hadoop fs -put test.txt /test.first  (表示将本地的text放置在dfs根目录下，并且名为test.first可以随意命名)

 在浏览器的后台刷新看看有没有test.first(打开http://localhost:50070，选择utilties在点击browse the file system)。

 

你也可以先给hadoop建立目录

 

bash命令  收藏代码
  1. hadoop fs -mkdir /xxx 

 上面的上传文件也可以变成这样：

 

 

bash命令  收藏代码
  1. hadoop fs -put test.txt /xxx/test.txt  

 其他的操作，大家自己去试吧。

特别感谢lxdhdgss，他的博文地址是：http://www.iteye.com/topic/1135085

 


怎安装fedora20

如果没安装经验 建议用虚拟机试验下。有安装或了解过。可以使用官方的页面的安装指导。使用U盘安装可以下载官方支持的fedorahosted.org/liveusb-creator/ 也可以使用www.pendrivelinux.com/yumi-multiboot-usb-creator/ 刻录U盘安装，然后开机启动U盘启动进行安装。安装过程来说，跟着指引就好了。fedora比较简单了，注意别把有用盘区给格式化了就好。
 

对于Fedora 20安装的安装问题

首先告诉lz，fedora官方制作u盘的那个玩意儿你就不要考虑的，那东西是个废物！
至于软碟通，我是没有成功过。
我用的是在linux系统下制作fedora（个人亲测，瞎编死户口本）。

只是有点麻烦，但是很有效。

首先lz先用软碟通制作一个ubuntu系统的u盘。（这个是因为ubuntu可以用软碟通成功制作u盘启动盘，而且方法很详尽，在百度文库的那个就很好用）
然后再下载好一个fedora的安装镜像。记住下载的位置。

开机用u盘启动，进入ubuntu的live系统。
把下载好的fedora镜像复制到ubuntu的/home路径下（这里路径可以不一样，我只是为了演示方便）。
之后再插入一个u盘，这个u盘用来制作fedora启动盘。一般第一个u盘也就是ubuntu启动盘会是/dev/sdb，而你另外插入的盘就是/dev/sdc。如果不确定，在终端输入sudo fdisk -l查看，ubuntu的u盘有两个分区，一个分区的就是你另外插入的u盘。

打开终端，进入feodra镜像所在的位置。演示中是/home。
cd /home
然后制作启动盘。
sudo dd if=fedora镜像全名 of=/dev/sdc（这个是你另外插入的u盘）
等待刻录结束，结束后会显示一串文字，里面会提示刻录的多少数据进入u盘，如果大小正好是fedora的镜像大小那恭喜你成功了，
如果失败就在用dd if=。。。。。。这个命令再来一次就行了。

完成之后就制作好了，重启电脑开始安装fedora就行。
 

相关内容

    暂无相关文章