hadoop_4 分布式配置
--------------系统准备--------------------
测试firefox，ifconfig等功能，确保系统是ok的
sudo su root
gedit /etc/hosts修改内容如下：
192.168.52.134master
192.168.52.135slave1
192.168.52.136slave2
hostname master
gedit /etc/hostname master
把原来的Ubuntu删掉，不要用#注释，直接删掉，因为#没用，修改内容：
master
测试firefox ping主机
------------安装---------------------
拷贝hadoop 和 jdk
sudo -s ./jdk-6u41-linux-i586.bin
修改profile文件
sudo gedit /etc/profile
export JAVA_HOME=/home/tristan/jdk1.6.0_02
export PATH=$PATH:/home/tristan/jdk1.6.0_02/bin
export PATH=$PATH:/home/tristan/hadoop/bin
修改profile文件
sudo gedit /etc/profile
export JAVA_HOME=/home/tristan/jdk1.6.0_41
export PATH=$PATH:/home/tristan/jdk1.6.0_41/bin
export PATH=$PATH:/home/tristan/hadoop/bin
config hadoop xml
------hadoop-env.sh--------
export JAVA_HOME=/home/tristan/jdk1.6.0_41
------core-site.xml----
<property>??
??<name>fs.default.name</name>??
??<value>hdfs://master:9000</value>???
?</property>??
------mapred-site.xml------
?????<property>???
??????<name>mapred.job.tracker</name>??
??????<value>master:9001</value>???
?????</property>??
----hdfs-site.xml-----
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/tristan/name/</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/tristan/data/</value>
</property>
格式化namenode
hadoop namenode -format
测试
java -version
hadoop fs -ls /
--------------配置 启动 ---------------
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode
hadoop-daemon.sh start jobtracker
hadoop-daemon.sh start tasktracker
访问路径
http://localhost:50070/dfshealth.jsp
http://localhost:50030/jobtracker.jsp
运行wordcount实例
hadoop jar hadoop-examples-1.0.4.jar wordcount /sample/testA /result/testA
----------------clone第2 3台机器---------------------
配置ip文件slave1 slave2
确保能和master ping通
-----------------SSH-----------------
安装SSH
sudo apt-get install ssh
查看.ssh文件夹
ls -a /home/tristan
生成秘钥
ssh-keygen -t dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证
ssh -version
ssh localhost
复制到slave机器上
scp authorized_keys slave1:~/.ssh/
ssh slave1
ssh slave2
start-all.sh
stop-all.sh
-----------其他------------
如果slave1停掉了，在web界面中，live node还是为2
需要重新跑下start-all.sh。 live node 就变成1了
hadoop dfsadmin -refreshNodes
是为了在master段动态删除node
由于slave1 slave2 和master配置类似，而且可以用master端通过ssh控制
故只备份master的虚拟机就ok
