hadoop搭建手册--集群分布式
datanode3
d.配置conf/hadoop-env.sh
? 知道到JAVA_HOME那一行,改动如下:
? export JAVA_HOME=/usr/java/jdk1.6.0_27
e.将配置好的hadoop文件拷贝到其他几台数据节点上面
#scp –rhadoop-0.20.2 datanode1:/home/grid/
#scp –rhadoop-0.20.2 datanode2:/home/grid/
#scp –rhadoop-0.20.2 datanode3:/home/grid/
Hadoop运行(从namenode启动即可)
文件系统格式化
#bin/hadoopnamenode –format
启动所有namenode datanode JobTrackerSecondary TaskTracker
#bin/start-all.sh
使用命令检查各个节点上得启动情况:
#/usr/java/jdk1.6.027/bin/jps
?
?
访问Web界面:
修改Windows的hosts
使得浏览器可以访问
http://namenode:50070/
http://namenode:50030/
?
?
测试WordCount(在前台节点测试)
#mkdir in
#cd in
#echo “hello world” >f1.txt
#echo “hello hadoop” >f2.txt
在hdfs上创建一个/tmp/input文件夹
#bin/hadoop fs -mkdir /tmp/input
把本地的in文件内容考到hdfs中的/tmp/input文件夹中去
#bin/hadoop fs -put /home/grid/hadoop-0.20.2/in/tmp/input
# bin/hadoop jar hadoop-0.20.2-examples.jarwordcount /tmp/input/ ?output
查看结果(在hdfs中的默认目录是/user/root/)
#bin/hadoop dfs –cat /user/root/output/*
?
?
?
?