C++ Hadoop实战备忘
C++ Hadoop实战备忘
前言：Hadoop用于解决大数据处理问题。看到这么火，咱也来凑把热闹，瞧瞧到底是什么神奇的技术。
实战过程，还是很波折。毕竟，对这些Hadoop的命令不是很熟。
所幸，天不负有心人，终于跑通了第一个示例。
对我而言，这个的意义，不亚于输出了开天辟地的“hello world”。
配置过程中出错时，不要泄气，一般是由于路径配置不对引起，可与本文档对比查错。
操作系统：Ubuntu 10.04 LTS
JDK：jdk-6u18-linux-i586.bin
Hadoop：hadoop-0.21.0
说明：hadoop版本一定要与本文档匹配，新版本目录格式已做修改。
步骤一：配置环境
本步骤参见：Hadoop环境搭建——单节点篇
1、安装jdk1.6.0_18
1)在usr下面新建一个文件夹Java,然后将jdk复制过来.
sudo mkdir /usr/Java
sudo cp jdk的路径 /usr/Java
2)进入到Java目录下，改变文件权限为可执行
cd /usr/Java
sudo chmod u+x jdk-6u18-linux-i586.bin
3)执行安装
(现象为Unpacking....加一连串解压信息）
sudo ./jdk-6u18-linux-i586.bin
2、安装hadoop0.21.0
1)将hadoop0.21.0.tar.gz复制到usr下面的local文件夹内
sudo cp hadoop的路径 /usr/local
2)进入到local目录下，解压hadoop-0.21.0.tar.gz
cd /usr/local
sudo tar -xzf hadoop-0.21.0.tar.gz
3)为了方便管理，将解压后的文件夹名改为hadoop
sudo mv hadoop-0.21.0 hadoop
3、创建一个名为hadoop的用户和用户组
1)创建一个名为hadoop的用户组
sudo addgroup hadoop
2)创建一个名为hadoop的用户，归到hadoop用户组下
sudo adduser --ingroup hadoop hadoop
3)用gedit打开etc下的sudoers文件
sudo gedit /etc/sudoers
4)在 root ALL=(ALL) ALL 下面添加如下一行，然后保存关闭gedit
hadoop ALL=(ALL) ALL
4、配置环境变量
1)用gedit打开etc下的profile文件
sudo gedit /etc/profile
2)在文件最后加入如下几行
export CLASSPATH=.:/usr/Java/jdk1.6.0_23/lib:/usr/Java/jdk1.6.0_18/jre/lib:$CLASSPATH
export PATH=.:/usr/Java/jdk1.6.0_23/bin:/usr/Java/jdk1.6.0_18/jre/bin:/usr/local/hadoop/bin:$PATH
3)保存后关闭gedit，并重启机器
sudo reboot
4)重启后用hadoop用户登录，验证配置是否成功
java -version(验证java配置是否成功)
5、创建ssh-key
1)确保网络通畅，然后装载ssh服务
sudo apt-get install openssh-server
2)创建ssh-key，为rsa
ssh-keygen -t rsa --P
3)将此ssh-key添加到信任列表中，并启用此ssh-key
cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
sudo /etc/init.d/ssh reload
4)重启系统
|
评论暂时关闭