hadoop伪分布式筹建
hadoop伪分布式搭建???3. Hadop使用?一个测试例子wordcount?????? 计算输入文本中词语数量的程序。WordCoun
hadoop伪分布式搭建
???3. Hadop使用?
一个测试例子wordcount?
????? 计算输入文本中词语数量的程序。WordCount在Hadoop主目录下的java程序包hadoop-0.20.2-examples.jar 中,执行步骤如下:?
在/usr/local/hadoop/hadoop-0.20.2/bin/目录下进行如下操作:?
执行 hadoop fs -ls命令,查看当前hdfs分布式文件系统的 文件目录结构,刚执行会说no such dictionary,?
你要先建一个文件夹,用命令 haoop fs -mkdir testdir ,然后再执行hadoop fs -ls,就会展示/user/root/testdir?
当前用户是root,所以hdfs的根目录就是? /user/root?
hadoop fs -mkdir? okdir(新建目录名称,可任意命名)?
离开hodoop的安全模式?
bin/hadoop dfsadmin -safemode leave?
在这个目录里放入文件:hadoop fs -put /usr/test_in/*.txt okdir(把本地/usr/test_in目录里的所有txt文件copy到 hdfs分布式文件系统的 /user/root/inputdir 目录里面,因为当前目录就是root 所以 直接写input 就代表/user/root/inputdir)?
在/usr/local/hadoop/hadoop-0.20.2下执行:?
[root@master hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar wordcount okdir output (提交作业,此处需注意okdir与output是一组任务,下次再执行wordcount程序,还要新建目录,不能跟okdir与output重名)?
?
?
可以查看运行结果?
# bin/hadoop dfs -cat hellooutput/part-r-00000?