首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 开源软件 >

hadoop筹建手册-集群分布式

2012-07-15 
hadoop搭建手册--集群分布式datanode3d.配置conf/hadoop-env.sh? 知道到JAVA_HOME那一行,改动如下:? expor

hadoop搭建手册--集群分布式

datanode3

d.配置conf/hadoop-env.sh

? 知道到JAVA_HOME那一行,改动如下:

? export JAVA_HOME=/usr/java/jdk1.6.0_27

e.将配置好的hadoop文件拷贝到其他几台数据节点上面

#scp –rhadoop-0.20.2 datanode1:/home/grid/

#scp –rhadoop-0.20.2 datanode2:/home/grid/

#scp –rhadoop-0.20.2 datanode3:/home/grid/

Hadoop运行(namenode启动即可)

文件系统格式化

#bin/hadoopnamenode –format

启动所有namenode datanode JobTrackerSecondary TaskTracker

#bin/start-all.sh

使用命令检查各个节点上得启动情况:

#/usr/java/jdk1.6.027/bin/jps

?

?

访问Web界面:

修改Windows的hosts

使得浏览器可以访问

http://namenode:50070/

http://namenode:50030/

?

?

测试WordCount(在前台节点测试)

#mkdir in

#cd in

#echo “hello world” >f1.txt

#echo “hello hadoop” >f2.txt

在hdfs上创建一个/tmp/input文件夹

#bin/hadoop fs -mkdir /tmp/input

把本地的in文件内容考到hdfs中的/tmp/input文件夹中去

#bin/hadoop fs -put /home/grid/hadoop-0.20.2/in/tmp/input

# bin/hadoop jar hadoop-0.20.2-examples.jarwordcount /tmp/input/ ?output

查看结果(在hdfs中的默认目录是/user/root/)

#bin/hadoop dfs –cat /user/root/output/*

?

?

?

?

热点排行