Cloudera Manager 安装小型Hadoop集群
Cloudera提供了几种安装方法,具体可以参见Cloudera文档。这里我介绍的方法是用Cloudera Manager来安装。Cloudera Manager提供三种选项,区别可见Cloudera文档:
Free edition60 Days trial of enterprise edition, 60天以后自动切换为free editionEnterprise edition环境:
OS X Mountain LionVMWare FusionCent OS 6.2Cloudera Manager 4.5 , the latest version at present安装三台虚拟机作为三个节点,都使用命令行界面,因为我的笔记本资源有限,使用图形界面太耗资源。首先,利用VMWare安装一台命名为Base虚拟机,只安装最基本的软件,这里我安装了perl和openssh-clients,关闭iptables,SELinux。注意事项如下:
取消VMWare easy install,网卡使用Bridge模式。在启动界面,选择适合的内核再进入编辑模式,输入expert text,使用文本界面安装。安装过程中根据自己需要选择合适的CPU数量,内存大小。安装完毕,现在需要设置Cent OS。因为我们是用全文本模式安装,重启之后网卡还需要作一些设置才能启动。#vi /etc/resolve.confsearch example.comnameserver 192.168.1.1?
#vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=changelater.example.comGATEWAY=192.168.1.1?
#vi /etc/selinux/configSELINUX=disabled?
#chkconfig iptables off?
#vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICES=eth0ONBOOK=yesPROTO=staticIPADDR=192.168.1.200NETMASK=255.255.255.0?启动网卡:
#/etc/init.d/network restart?
#yum -y perl openssh-clients?然后安装VMWare-Tools,略过,网上教程一搜一把。
#vi /etc/hosts192.168.1.201 n1.example.com n1192.168.1.202 n2.example.com n2192.168.1.203 n3.example.com n3?
#ssh-keygen 两次回车#cd .ssh#cp id_rsa authorized_keys#vi /etc/ssh/ssh_configStrictHostKeyChecking no?
yum update?到此,base准备完毕。这个节点最好备份一下,将来稍作设置就可以作为新的节点加入集群。用VMWare制作Base节点的三个拷贝,cdh4-1, cdh4-2, cdh4-3,这样就有了三个节点。启动cdh4-1,cdh4-2,cdh4-3。并分别设置,这里我以cdh4-1为例。
#vi /etc/sysconfig/networkHOSTNAME=n1.example.com?
#cd /etc/sysconfig/network-scripts#mv ifcfg-eth0 ifcfg-eth1#vi ifcfg-eth1IPADDR=192.168.1.201?
#/etc/init.d/network restart#init 6?接下来就是安装Cloudera Manager的过程了,本来到了这里一切都很简单了,但不幸的是我们生活在天朝,到cloudera官网取安装源的速度慢得可怕。一番Google之后,我发现了这篇blog:cdh4云存储最实用搭建方法。参考该博文安装,并注意选择软件版本即可。