hadoop 0.21.0集群搭建
hadoop 0.21.0 环境的搭建。
?
一共有4台机器:
Master:10.125.20.5
Slaves:10.125.20.6,10.125.20.8,10.125.20.9
?
第一步:Linux服务器Host配置
每台机器修改/etc/hosts,添加以下几行:
10.125.20.5??? ??? master??? ??? master
10.125.20.6??? ??? hadoop1??? ??? hadoop1
10.125.20.8??? ??? hadoop2??? ??? hadoop2
10.125.20.9??? ??? hadoop3??? ??? hadoop3
修改HostName(这一步是可选的,不过配了之后看文件分块信息更加明确)
10.125.20.5上执行 hostname master
10.125.20.6上执行 hostname hadoop1
10.125.20.8上执行 hostname hadoop2
10.125.20.9上执行 hostname hadoop3
?
第二步:各台Slaves建立对Master的信任关系,以使得可以从Master无密码直接ssh登录Slaves
Master机器上执行:
ssh-keygen -t rsa
?它会生成以下文件:
/root/.ssh/id_rsa/root/.ssh/id_rsa.pub
?执行以下指令,将公钥拷贝到Slaves:
scp /root/.ssh/id_rsa.pub root@hadoop1:/root/.ssh/authorized_keysscp /root/.ssh/id_rsa.pub root@hadoop2:/root/.ssh/authorized_keysscp /root/.ssh/id_rsa.pub root@hadoop3:/root/.ssh/authorized_keys
?注意这种方式会覆盖Slaves对其它机器的信任关系,为了避免覆盖,可以将Master上/root/.ssh/id_rsa.pub里面的内容追加到各台Slaves机器的/root/.ssh/authorized_keys文件尾部。
试一下:
#ssh master#ssh hadoop1#exit#ssh hadoop2#exit#ssh hadoop3#exit
?现在可以无密码登录各台slave了。
?
第三步:安装JDK
我安装的jdk1.6.0_21 linux64 bpm位版本。请到java官方网站下载。
Master和Slave各上传一份JDK安装文件,然后执行:
#chmod +x jdk6-xxxx.rpm.bin#./jdk6-xxxx.rpm.bin
?安装完成后JDK位于/usr/java/jdk1.6.0_21
?
第四部:“安装”hadoop
到官网下载
?
晚上继续完成。。。。未完待续
?
?