hadoop动态增加删除节点
在master的conf/hdfs-site.xml中加入
<property> <name>dfs.hosts.exclude</name> <value>excludes</value> </property>
在$HADOOP_HOME下创建exclueds文件
文件内容增加你想删除的节点，一行一个
/bin/hadoop dfsadmin -refreshNodes命令刷新datanode例表
/bin/hadoop dfsadmin -report查看结果
Datanodes available: 1 (1 total, 0 dead)
Name: 192.168.200.118:50010
Decommission Status : Decommission in progress
Configured Capacity: 211370565632 (196.85 GB)
DFS Used: 11459694592 (10.67 GB)
Non DFS Used: 187135799296 (174.28 GB)
DFS Remaining: 12775071744(11.9 GB)
DFS Used%: 5.42%
DFS Remaining%: 6.04%
Last contact: Wed Feb 22 23:51:48 PST 2012
在Decommission Status : Decommission in progress变为?Decommission Status : Decommission normal前mapreduce会异常
增加节点
在/conf/slaver文件中加入节点的hostname
在每个节点的hosts文件中加入新节点的hostname
在新节点的机器上执
/bin/./hadoop-daemon.sh start datanode
/bin/././hadoop-daemon.sh start tasktracker
?
数据负载均衡
1. 在Hadoop集群中新添加一个Datanode时，需要对集群数据进行负载均衡。
2. 在主节点运行bin/start-balancer.sh命令，可以添加参数-threshold 5，threshold是平衡阈值，默认是10%，值越小负载越均衡，但需要更长的时间去执行。
3. 添加s140到集群，执行负载均衡半个小时共负载了4G的数据
