AWS学习笔记之EC2平台上Hadoop集群搭建
??? 网上中文资料几乎没有关于EC2平台的Hadoop的集群搭建，又碍于英语水平，同时加上关键点说明的也比较分散，所以在这上面花费了不少的时间。现在弄好了，整理下整个配置过程，也当重新巩固下。
一、新建Instance
??? 在EC2控制台上新建三个instance，具体的可以参照EC2instance的建立。可以分别取名master，slave1和slave2，其中master将作为namenode和jobtracker，slave1和slave2将作为datanode和tasktracker。（这里使用的是free tire elible的ubuntu 12.10服务器）。
??? 选中一个服务器，在页面下半部会出现instantce的外部dns地址，用来远程访问，比如我这里master的地址为：ec2-54-251-208-185.ap-southeast-1.compute.amazonaws.com。
二、SSH的配置
??? aws instance之间通信使用RSA加密，在建立instance时会自动下载一个.pem文件，这个就是RSA的私钥，而公钥在建立instance的时候就已经自动设置好了。
??? 运行cmd，输入ssh 命令连接master，需要用-i参数指明本地私钥的位置，替换红色部分
??? ssh -i your/path/to/your.pem ubuntu@your.instance.adress , ubuntu是aws中所有ubuntu instance的默认用户名。例如：
???
??? 登陆成功后进入~/.ssh目录,
? ? cd ~/.ssh
??? 新建一个id_rsa文件,
??? 这里用的是winscp（没有的可以上网搜索下载）。如下图：
????
??? 登录后，找到/home/ubuntu/.ssh，进入后，在里面新建 id_rsa。然后用记事本之类的工具打开本地的私钥文件，全部复制到id_rsa中，保存关闭。
??? 将文件权限降低至600。
???? chmod 600 id_rsa
??? 然后设置ssh代理,
???? ssh-agent bash
???? ssh-add
??? 若出现Identity added: /home/ubuntu/.ssh/id_rsa (/home/ubuntu/.ssh/id_rsa)则表示设置成功，此时可以试着在master上ssh其他slave看是否成功。
?? 以上是关键的步骤之一，因为hadoop工作时需要master和slave之间的交互，而在EC2平台上任意instance之间交互都是需要进行RSA验证的。至此，master与slave之间通信可自动完成验证过程。
三、下载hadoop和java运行环境
??? 这里使用hadoop1.0.4和jdk7
??? sudo apt-get update
??? sudo apt-get install openjdk-7-jdk
??? wget http://www.fayea.com/apache-mirror/hadoop/common/hadoop-1.0.4/hadoop-1.0.4.tar.gz
??? (需要说明的是，上面的下载地址不能保证你也能够下载，所以去hadoop官方网站找：hadoop下载地址)。
??? 解压hadoop
??? tar xzf hadoop-1.0.4.tar.gz
??? 这一步之后很多教程建议将解压之后的文件夹放到/usr/local/目录下，可是如若如此会遇到很多关于用户权限的麻烦，因此这里就将其放在原位(/home/ubuntu/)。
??? 对所有的slave进行相同操作。
四、配置相关参数。
?? 此步参阅了熊天翼的博客?
???? 先将hadoop-1.0.4重命名下：
???? sudo mv hadoop-1.0.4 hadoop
???? 回到master，进入hadoop/conf 目录，
????? cd ~/hadoop/conf
???? 1.设置好三台机器上的/etc/hosts和/etc/hostname
???? host这个文件用于定义主机名与IP地址之间的对应关系。图所示为我的配置：
????
???? 原本在第一行和第五行之间是没有内容的，这些内容是加上去的。那么这里要说下如何弄得ip地址了，在/etc/hostname里面。在AWS建立的虚拟机，用的主机名即是ip地址。
??? 用vim /etc/hostname
??? 你将可以看到里面内容为:ip-10-130-186-142。这个就是这台虚拟机的ip地址了，记下后，将这个名字改为master或者slave1或者slave2，这样方便。
??? 使用vim，如果出现无法保存，如图：
???
??? 那么输入：w !sudo tee %
??? 之后强制退出即可。
???? 2.修改hadoop-env.sh中的JAVA_HOME参数
????? vim hadoop-env.sh（当然也可以nano hadoop-env.sh，甚至也可以用之前提到的winscp工具）
???? 具体vim,nano如何使用，自己网上找操作方法
???? 将JAVA_HOME那一行去掉注释，后面修改为
????? JAVA_HOME = /usr/
???? 如图：
????
???? 此路径(仅)适用于EC2 ubuntu instance
??? 3.修改core-site.xml
??? 该配置文件指明了HDFS文件系统的服务器以及服务器内路径位置，加入如下配置：
??? nano core-env.xml
???
??? 这里的master就是在之前/etc/hosts里面定义的主机名与IP地址之间的对应关系。而第二个value中间的路径是hadoop存储数据的位置，这个可以根据个人有所不同，但此文件夹需要手动创建。
??? 4.修改hdfs-site.xml
??? 该配置文件指明了文件需要备份的份数。加入如下配置：
??? nano hdfs-site.xml
???
???
??? 5.修改mapred-site.xml
??? 该配置文件指明了jobtracker的地址，以及其他和MapReduce相关的配置。此处只设置jobtracker为master
??? 加入如下配置：
??? nano mapred-site.xml
???
???
??? 6.masters和slaves两个文件中需要分别申明一下master和slave1，slave2外部dns地址
??? 可以看到里面只是写了master slave1 slave2。这些在之前/etc/hosts里面已经定义的主机名与IP地址之间的对应关系。
???
? ??
???
??
?? 7.用scp命令将master的配置推送到slave
??? 先回到master。确认自己是在/home/ubuntu/hadoop/conf目录下。输入如下命令（红色部分填写slave1,slave2的ip地址）：
??? scp * your.slave1.ipadress:/home/ubuntu/hadoop/conf/
??? scp * your.slave2.ipadress:/home/ubuntu/hadoop/conf/
??? 如果这一步失败，提示"public key denied"说明ssh代理设置不成功。
??? 至此，instance配置全部完成。
五、配置EC2 Security Group
??? Security Group 起到了instance的分组和防火墙的作用。如下图所示，目前Security Group只开放了22（SSH）端口，Source 0.0.0.0/0 表示允许任意来源访问该端口。
???
??? 还记得之前配置HDFS和JobTracker的时候用到了9000和9001端口吗？这些端口默认没有打开，但却是Hadoop运行所必须的。
??? 在左侧添加Hadoop所需的端口，并将source设置成instance所在的Security group，点击Apply Rule Changes ，完成后如下图所示。?
??
??? 至此，就结束配置了。
六、运行Hadoop
?? 1.进入hadoop目录下，格式化hdfs文件系统，初次运行hadoop时一定要有该操作。
???? cd /home/ubuntu/hadoop
???? bin/hadoop namenode -format
???? 2.启动bin/start-all.sh
???? bin/start-all.sh
???? 3.检测hadoop是否启动成功
???? jps
???? 如果有Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker五个进程，就说明你的hadoop集群搭建好了！如下图：
???
???
??? 也可以用w3m查看下。
??? 输入：w3m http://master:50030或者w3m http://master:50070查看集群状态。如图：
???
七、小结
?? 集群配置只须记住conf/hadoop-env.sh、conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml、conf/mapred-queues.xml这5个文件的作用即可。
??? 作为分布式系统，hadoop需要通过SSH的方式启动处于slave上的程序，因此必需安装和配置SHH。所以说安装hadoop前需要安装JDK和SSH。
??? 下面两种方法在实际应用中也可能会用到：
??? 1.重启坏掉的DataNode或JobTracker。
??? 当hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。
??? 在坏死的节点上输入如下命令即可：
??? bin/hadoop-daemon.sh start DataNode
??? bin/hadoop-daemon.sh start jobtracker
??? 2.动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。
??? bin.hadoop-daemon.sh --config ./conf start DataNoda
??? bin.hadoop-daemon.sh --config ./conf start tasktracker
问题
? 如果用PuTTy连接到远程终端，无法用wget下载完整的压缩包。不知道为什么。。。
?
