Hadoop配置文件详解

Hadoop配置文件详解

Hadoop配置文件详解

1、core-site.xml文件

这是一个描述集群中NameNode结点的URI-统一资源标识符（包括协议，主机名称，端口号），集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册，这样它们的数据才可以被利用。独立的客户端程序通过这个URI跟DateNode交互，以取得文件的块列表。

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site-xml中不配置namenode 和datanode的存放位置，默认就放在这个路径下
2、hdfs-site-xml文件

        dfs.replication,它决定着系统里面的文件块的数据备份个数。对于一个实际的应用，它应该被设为3（这个数字并没有上限，但更多的备份可能并没有作用，而且会占用更多的空间）。少于三个的备份，可能会影响到数据的可靠性（系统故障时，也许会造成数据丢失）

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hdfs/tmp</value>

</property>

      dfs.data.dir这是DataNode结点被指定存储数据的本地文件系统路径。DataNode结点上的这个路径没必要完全相同。因为每台机器的环境很可能是不一样的。但如果每台机器上的这个路径都是统一配置的话，工作会变得简单一些。默认情况下，它的值是Hadoop.temp.dir,这个路径只能用于测试的目的，因为，他很可能会丢失掉一些数据，所以，这个值最好还是被覆盖。

      dfs.name.dir 这是NameNode结点存储Hadoop文件信息的本地系统路径。这个值只对NameNode有效，DataNode并不需要使用它。上面对于/tmp的警告同样使用于这里。在实际应用中，它最好被覆盖掉。

      <property>

          <name>dfs.name.dir</name>

          <value>/home/hdfs/name</value>

</property>

  <property>

      <name>dfs.data.dir</name>

      <value>/home/hdfs/data</value>

</property>

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建）