Hadoop-Yarn安装部署,hadoop-yarn部署
Hadoop-Yarn安装部署,hadoop-yarn部署
Hadoop Yarn的安装部署于Hadoop类似,以下以CDH4.5为例说明安装步骤。 三台机器,修改/etc/hosts及/etc/sysconfig/network中的HOSTNAME: 172.20.4.142 yarn-namenode 172.20.4.143 yarn-datanode1 172.20.4.147 yarn-datanode2 1、实现无密码namenode ssh to datanode namenode上执行 ssh-keygen -t rsa -P ''产生id_rsa.pub cat id_rsa.pub > authorized_keys scp authorized_keys yarn-datanode1:~/.ssh/ scp authorized_keys yarn-datanode2:~/.ssh/2、官网下载hadoop CDH4.5 解压至~/platform/hadoop 3、copy安装目录下的 etc/hadoop中文件至HADOOP_CONF_DIR下订制自己的hadoop配置 hadoop-env.sh中可配置$JAVA_HOME, $HADOOP_LOG_DIR, $HADOOP_PID_DIR yarn-env.sh中可配置$YARN_CONF_DIR, $YARN_LOG_DIR 配置core-site.xml,主要是fs.defaultFS,指定namenode: <property> <name>fs.defaultFS</name> <value>hdfs://yarn-namenode:8020</value> </property> 配置hdfs-site.xml中namenode和datanode存储数据的目录: <property> <name>dfs.namenode.name.dir</name> <value>/home/jjt/hard_disk/0,/home/pplive/hard_disk/1</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/jjt/hard_disk/hdfs</value> </property> 配置mapred-site.xml,可不用配mapred.job.tracker <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.local.dir</name> <value>/home/jjt/hard_disk/0/mrtmp,/home/jjt/hard_disk/1/mrtmp</value> </property> 配置yarn-site.xml: <property> <name>yarn.resourcemanager.webapp.address</name> <value>yarn-namenode:8088</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce.shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.nodemanager.local-dirs</name> <value>/home/jjt/data/yarn/1,/home/jjt/data/yarn/2</value> </property> 配置slaves文件: yarn-datanode1 yarn-datanode2 4、修改集群中/etc/profile保证集群中配置的环境变量相同, 从namenode上scp $HADOOP_HOME $HADOOP_CONF_DIR 到所有其他机器 5、执行 hadoop namenode -format格式化,start-all.sh启动集群,或分开执行start-dfs.sh start-yarn.sh,使用jps可查看各节点启动的进程 6、修改本机hosts文件,可通过WEBUI yarn-namenode:8088查看任务执行状态 7、提交测试job执行mapreduce,查看任务是否运行成功,如果出错可提升log4j级别通过log查看具体出差原因。
评论暂时关闭