首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > 云计算 >

Cloudera Manager 装配小型Hadoop集群

2013-07-09 
Cloudera Manager 安装小型Hadoop集群Cloudera提供了几种安装方法,具体可以参见Cloudera文档。这里我介绍的

Cloudera Manager 安装小型Hadoop集群

Cloudera提供了几种安装方法,具体可以参见Cloudera文档。这里我介绍的方法是用Cloudera Manager来安装。Cloudera Manager提供三种选项,区别可见Cloudera文档:

Free edition60 Days trial of enterprise edition, 60天以后自动切换为free editionEnterprise edition

环境:

OS X Mountain LionVMWare FusionCent OS 6.2Cloudera Manager 4.5 , the latest version at present安装三台虚拟机作为三个节点,都使用命令行界面,因为我的笔记本资源有限,使用图形界面太耗资源。

首先,利用VMWare安装一台命名为Base虚拟机,只安装最基本的软件,这里我安装了perl和openssh-clients,关闭iptables,SELinux。注意事项如下:

取消VMWare easy install,网卡使用Bridge模式。在启动界面,选择适合的内核再进入编辑模式,输入expert text,使用文本界面安装。安装过程中根据自己需要选择合适的CPU数量,内存大小。安装完毕,现在需要设置Cent OS。因为我们是用全文本模式安装,重启之后网卡还需要作一些设置才能启动。
#vi /etc/resolve.confsearch example.comnameserver 192.168.1.1
?
#vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=changelater.example.comGATEWAY=192.168.1.1
?
#vi /etc/selinux/configSELINUX=disabled
?
#chkconfig iptables off
?
#vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICES=eth0ONBOOK=yesPROTO=staticIPADDR=192.168.1.200NETMASK=255.255.255.0
?启动网卡:
#/etc/init.d/network restart
?
#yum -y perl openssh-clients
?然后安装VMWare-Tools,略过,网上教程一搜一把。
#vi /etc/hosts192.168.1.201 n1.example.com n1192.168.1.202 n2.example.com n2192.168.1.203 n3.example.com n3
?
#ssh-keygen 两次回车#cd .ssh#cp id_rsa authorized_keys#vi /etc/ssh/ssh_configStrictHostKeyChecking no
?
yum update
?到此,base准备完毕。这个节点最好备份一下,将来稍作设置就可以作为新的节点加入集群。用VMWare制作Base节点的三个拷贝,cdh4-1, cdh4-2, cdh4-3,这样就有了三个节点。启动cdh4-1,cdh4-2,cdh4-3。并分别设置,这里我以cdh4-1为例。
#vi /etc/sysconfig/networkHOSTNAME=n1.example.com
?
#cd /etc/sysconfig/network-scripts#mv ifcfg-eth0 ifcfg-eth1#vi ifcfg-eth1IPADDR=192.168.1.201
?
#/etc/init.d/network restart#init 6
?接下来就是安装Cloudera Manager的过程了,本来到了这里一切都很简单了,但不幸的是我们生活在天朝,到cloudera官网取安装源的速度慢得可怕。一番Google之后,我发现了这篇blog:cdh4云存储最实用搭建方法。参考该博文安装,并注意选择软件版本即可。

热点排行