HDFS 上传文件不均衡和Balancer太慢的问题

HDFS 上传文件不均衡和Balancer太慢的问题

向HDFS上传文件，如果是从某个datanode开始上传文件，会导致上传的数据优先写满当前datanode的磁盘，这对于运行分布式程序是非常不利的。

解决的办法：

1、从其他非datanode节点上传

可以将Hadoop的安装目录复制一份到一个不在集群中的节点（直接从非datanode的namenode上传也可以，但是这样不太好，会增加namenode的负担，并且时间长了会让namenode上放了各种乱七八糟的文件），在这个节点上不启动任何hadoop进程，但是可以当作客户端使用。上传文件到集群。

也可以自己写一个上传文件的程序、在其他非集群节点上运行来上传文件。在程序中要注意自己设置必要的配置，比如namenode的url、副本数等等，因为如果不设置，会使用你程序中所带的hadoop jar包中的默认配置，而不是集群的默认配置。

2、使用balancer

可以通过

hdfs balancer -threshold XX

来进行平衡，xx是一个百分比。关于这个命令的用法网上一搜一大堆。

但是默认情况下，这个平衡时非常慢的，因为默认的hadoop不允许balancer占用很大的网络带宽。

可以通过

hdfs dfsadmin -setBalanacerBandwidth newbandwidth

来设置带宽，单位是字节

--------------------------------------分割线 --------------------------------------

将本地文件拷到HDFS中

从HDFS下载文件到本地

将本地文件上传至HDFS

HDFS基本文件常用命令

Hadoop中HDFS和MapReduce节点基本简介

《Hadoop实战》中文版+英文文字版+源码【PDF】

Hadoop: The Definitive Guide【PDF版】

--------------------------------------分割线 --------------------------------------