首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

hadoop 0.21.0集群筹建

2012-08-24 
hadoop 0.21.0集群搭建hadoop 0.21.0 环境的搭建。?一共有4台机器:Master:10.125.20.5Slaves:10.125.20.6,1

hadoop 0.21.0集群搭建

hadoop 0.21.0 环境的搭建。

?

一共有4台机器:

Master:10.125.20.5

Slaves:10.125.20.6,10.125.20.8,10.125.20.9

?

第一步:Linux服务器Host配置

每台机器修改/etc/hosts,添加以下几行:
10.125.20.5??? ??? master??? ??? master
10.125.20.6??? ??? hadoop1??? ??? hadoop1
10.125.20.8??? ??? hadoop2??? ??? hadoop2
10.125.20.9??? ??? hadoop3??? ??? hadoop3

修改HostName(这一步是可选的,不过配了之后看文件分块信息更加明确)

10.125.20.5上执行 hostname master

10.125.20.6上执行 hostname hadoop1

10.125.20.8上执行 hostname hadoop2

10.125.20.9上执行 hostname hadoop3

?

第二步:各台Slaves建立对Master的信任关系,以使得可以从Master无密码直接ssh登录Slaves

Master机器上执行:

ssh-keygen -t rsa

?它会生成以下文件:

/root/.ssh/id_rsa/root/.ssh/id_rsa.pub

?执行以下指令,将公钥拷贝到Slaves:

scp /root/.ssh/id_rsa.pub root@hadoop1:/root/.ssh/authorized_keysscp /root/.ssh/id_rsa.pub root@hadoop2:/root/.ssh/authorized_keysscp /root/.ssh/id_rsa.pub root@hadoop3:/root/.ssh/authorized_keys

?注意这种方式会覆盖Slaves对其它机器的信任关系,为了避免覆盖,可以将Master上/root/.ssh/id_rsa.pub里面的内容追加到各台Slaves机器的/root/.ssh/authorized_keys文件尾部。

试一下:

#ssh master#ssh hadoop1#exit#ssh hadoop2#exit#ssh hadoop3#exit

?现在可以无密码登录各台slave了。

?

第三步:安装JDK

我安装的jdk1.6.0_21 linux64 bpm位版本。请到java官方网站下载。

Master和Slave各上传一份JDK安装文件,然后执行:

#chmod +x jdk6-xxxx.rpm.bin#./jdk6-xxxx.rpm.bin

?安装完成后JDK位于/usr/java/jdk1.6.0_21

?

第四部:“安装”hadoop

到官网下载

?

晚上继续完成。。。。未完待续

?

?

热点排行