Hadoop2.1全分布式集群装配

Hadoop2.1全分布式集群安装
1. 环境

5个节点，配置如下：

dual core x86_64, 4GB RAM, 10GB Disk

Centos 6.4_x64

OpenJDK 1.7.0_9

hadoop-2.1.0-beta

互相之间千兆网连接。

每台机器上用于安装和启动hadoop的用户名都是xc

节点的hostname、安装的服务和ip如下：

hostname安装服务iph1-1NN172.16.0.198h1-2RM + SNN172.16.0.199h1-3NM + DN172.16.0.200h1-4NM + DN172.16.0.201h1-5NM + DN172.16.0.202

2. 准备每个节点上的jdk已经装好了。还需要设置ssh无密钥登录。我设置了h1-1和h1-2到所有节点的ssh无密钥登录，必须使得h1-1和h1-2这两个master都能够无密钥ssh登陆其他所有节点，包括自己。
还需要设置系统的/etc/hosts文件，将集群中各个节点的ip和主机名加入文件中：

$ cd hadoop_home_dir$ ./bin/hdfs dfs -put <src> <dst>$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.1.0-beta.jar wordcount  

参考资料http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/
http://hadoop.apache.org/docs/r2.1.0-beta/hadoop-project-dist/hadoop-common/ClusterSetup.html
疑问：1、为啥jobhistory看不到？2、貌似hadoop2.1的hdfs没法和hadoop1.x的hdfs之间拷贝文件，不知到为啥？
3、明明我的3个nodemanager节点都是4G的内存，resourcemanager的web ui中却显示了3*8=24GB的内存，不知为啥？我装了一个伪分布的倒是显示了正确的内存容量。

查看更多 下一篇