首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > 编程 >

hadoop伪分布式筹建

2013-11-16 
hadoop伪分布式搭建???3. Hadop使用?一个测试例子wordcount?????? 计算输入文本中词语数量的程序。WordCoun

hadoop伪分布式搭建

        ?hadoop伪分布式筹建?hadoop伪分布式筹建?3. Hadop使用?
        一个测试例子wordcount?
        ????? 计算输入文本中词语数量的程序。WordCount在Hadoop主目录下的java程序包hadoop-0.20.2-examples.jar 中,执行步骤如下:?
        在/usr/local/hadoop/hadoop-0.20.2/bin/目录下进行如下操作:?
        执行 hadoop fs -ls命令,查看当前hdfs分布式文件系统的 文件目录结构,刚执行会说no such dictionary,?
        你要先建一个文件夹,用命令 haoop fs -mkdir testdir ,然后再执行hadoop fs -ls,就会展示/user/root/testdir?
        当前用户是root,所以hdfs的根目录就是? /user/root?

        hadoop fs -mkdir? okdir(新建目录名称,可任意命名)?
        离开hodoop的安全模式?
        bin/hadoop dfsadmin -safemode leave?
        在这个目录里放入文件:hadoop fs -put /usr/test_in/*.txt okdir(把本地/usr/test_in目录里的所有txt文件copy到 hdfs分布式文件系统的 /user/root/inputdir 目录里面,因为当前目录就是root 所以 直接写input 就代表/user/root/inputdir)?
        在/usr/local/hadoop/hadoop-0.20.2下执行:?
        [root@master hadoop-0.20.2]# hadoop jar hadoop-0.20.2-examples.jar wordcount okdir output (提交作业,此处需注意okdir与output是一组任务,下次再执行wordcount程序,还要新建目录,不能跟okdir与output重名)

        ?

        ?

        ?

        可以查看运行结果?
        # bin/hadoop dfs -cat hellooutput/part-r-00000?

热点排行