Hadoop学习笔记之Hadoop伪分布式环境搭建,hadoop学习笔记搭建


搭建为伪分布式Hadoop环境

1、宿主机(Windows)与客户机(安装在虚拟机中的Linux)网络连接。

a) Host-only 宿主机与客户机单独组网;

好处:网络隔离;

坏处:虚拟机和其他服务器之间不能通讯;

b) Bridge 桥接 宿主机与客户机在同一个局域网中。

好处:窦在同一个局域网,可以互相访问;

坏处:不完全。

2、Hadoop的为分布式安装步骤

a) 设置静态IP

在centos下左面上右上角图标右键修改;

重启网卡service network restart;

验证:执行命令ifconfig

b) 修改主机名(原名称casichadoop)  hostname查看当前名称

修改当前会话主机名:设置名称 hostname hadoop

修改配置文件中:hostname vi /etc/sysconfig/network 为hadoop

c) 把hostname和ip绑定

执行命令 vi /etc/hosts增加10.10.10.10

保存退出

验证:ping hadoop

 

d) 关闭防火墙  先查看service iptables status

  Service  iptables stop

e) 防火墙自动启动 先查看chkconfig --list | grep iptables

关闭自动启动防火墙 chkconfig iptables off

    验证:chkconfig --list | grep iptables

 

f)  Ssh(secure shell)的免密码登录

         <1>执行命令shh-keygen -t rsa 产生秘钥,位于~/.ssh

         <2>执行命令cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证:ssh localhost

g)      安装JDK

 

l 打开目录 cd /usr/local 

l 然后删除全部文件rm -rf  * 

 

l 复制所有的文件到当前目录下cp /root/Downloads/* .

 

l 查看当前目录的权限 ls -l

l 赋予权限执行权限chmod u+x jdk-6u24-linux-i586.bin

 

l  执行安装JDK ./jdk-6u24-linux-i586.bin 

l  mv jdk1.6.0_24 jdk 重命名

l 设置环境变量vi /etc/profile 

n Export JAVA_HOME=/usr/local/jdk

n Export PATH=./$JAVA_HOME/bin:$PATH

n Source /etc/profile

n 验证:java -version

 

h)      安装HADOOP

i. Tar -zxvf hadoop-1.1.2.tar.zip

ii. Mv hadoop-1.1.2 hadoop

iii. 设置环境变量

n Export  HADOOP_HOME=/usr/local/hadoop

n Export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

iv. 修改四个配置文件

1. 修改hadoop-env.sh

 export JAVA_HOME=/usr/local/jdk

2. 修改core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

<description>hadoop</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

</configuration>


3. 修改hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

 

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

 


4. 修改mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

 

<!-- Put site-specific property overrides in this file. -->

 

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>hadoop:9001</value>

<description>change you own hostname</description>

</property>

</configuration>


 

v. 执行命令 hadoop namenoe -format 对hdfs格式化

vi. 执行命令 start-all.sh

vii. 执行命令 jps 查看进程

 


hadoop的伪分布式搭建跟完全分布式的搭建除了ssh跟要拷贝到别的电脑以外,伪分布的配置文件跟

几乎是一样的,就是一些设置,比如hdfs的备份数等等是不一样的。
 

对于hadoop环境搭建问题

1.关闭hdfs权限:hdfs-site.xml中
<property>
<!-- 是否对DFS中的文件进行权限控制(测试中一般用false)-->
<name>dfs.permissions</name>
<value>false</value>
</property>
2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹,然后指定hadoop插件目录,插件目录在preferences的map/reduce的hadoop installation location
3.在windows的hosts文件中添加hadoop所有节点的ip和主机名
4.关闭linux系统防火墙
5.把hadoop三个配置文件中涉及到的主机名全部改成ip地址,master和salves文件也改成ip
 

相关内容

    暂无相关文章