Hadoop从入门到精通 （一）：Hadoop环境搭建准备


大家好，我是Stefan，今天开始为大家带来详细的Hadoop学习教程，大家可以按照我的教程步骤一步一步步入云计算的开发行列，好了，废话不多说，我们开始第一篇：Hadoop环境搭建。

万事开头难，这话不是吹的。很多人在最初的环境搭建就出现了问题，而每个人的平台又有所差异，就更加导致了问题的出现概率，这里我尽可能涉及到多种情况，我本机用的时Mac OS 10.9.2，搭建的过程和用Ubuntu和CentOS等Linux平台是一样的过程。

（一）首先，我们需要去官网上下载Hadoop安装包，地址，这里我选择的是hadoop-2.2.0.tar.gz，进入Hadoop2.0 时代，没有理由不跟上时代的潮流。我下载到本地Download目录下，解压 tar -zxf hadoop-2.2.0.tar.gz。

（二）我们需要安装java环境，由于我是mac系统，下载eclipse过程中已经自动一键安装了java环境，如果不知道是否安装了java环境，可以在终端输入：java -version查看，如看到如下：

java version "1.6.0_65"
Java(TM) SE Runtime Environment (build 1.6.0_65-b14-462-11M4609)
Java HotSpot(TM) 64-Bit Server VM (build 20.65-b04-462, mixed mode)
则证明java环境已经安装好，如果没有安装java环境的孩纸可以下载jdk进行安装，这一步比较简单，这里就不赘诉了。同样要将jdk设置为系统默认jdk，然后设置JAVA_HOME环境。

（三）以上两个步骤做好了之后，接下来要设置SSH免密码登入。由于Hadoop集群动辄成百上千的规模，如果每台机器都需要密码登入的话，那么工作量是相当庞大的，所以我们需要设置ssh验证秘钥登入，这样不需要手动输入密码。首先我们安装ssh，Ubuntu可以使用诸如：sudo apt-get install ssh来安装，我的mac系统下已经默认安装过ssh了，所以不需要安装；接下来设置免密码登录，终端中输入以下命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
这时会在、User/yourName/.ssh文件夹下生成 id_dsa和id_dsa.pub两个私钥和公钥，接下来我们需要把公钥追加盗授权的key文件（authorized_key）中，输入如下命令： 

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
这条命令的作用就是将id_dsa.pub里面的信息写到authorized_key的最后面，现在免密码登入已经配置完成。

在测试前，mac系统的用户还需要注意一点，ssh远程登入默认是disable的，我们首先需要开启它。在设置中

找到共享选项



然后在共享面板中选中远程登录


然后我们修改一下.ssh文件夹的权限：终端里敲

chmod -R 700 ~/.ssh/

现在我们可以用ssh登录了，我们测试一下，在终端里敲

ssh -version

显示

OpenSSH_6.2p2, OSSLShim 0.9.8r 8 Dec 2011
Bad escape character 'rsion'.

看到这个就大功告成了！接下来我们试试远程登录，我们登录自己的主机试试看 

ssh localhost
显示 

The authenticity of host '127.0.0.1 (127.0.0.1)' can't be established.
RSA key fingerprint is 0b:41:26:f6:9e:d6:b4:79:e9:26:0c:6d:7f:b4:b4:81.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '127.0.0.1' (RSA) to the list of known hosts.
Last login: Sat Mar 29 14:56:15 2014 from localhost
第一次登入需要输入yes来确定秘钥是正确的，最后一句话证明我们已经登入成功了~


今天的Hadoop学习就到这里，感谢大家的关注，我会持续更新我的博客，给大家带来更多有关Hadoop的学习教程。

转载请注明出处：http://blog.csdn.net/guoshenglong11/article/details/22430755




相关内容