首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > JAVA > Eclipse开发 >

筹建Eclipse下运行Mapreduce代码的环境

2013-11-12 
搭建Eclipse下运行Mapreduce代码的环境?这里需要注意的是:根据你即将要跑的代码是在当前这个hadoop版本的

搭建Eclipse下运行Mapreduce代码的环境

?

这里需要注意的是:根据你即将要跑的代码是在当前这个hadoop版本的目录下。

第三步:配置Map/Reduce Locations。

在Window-->Show View中打开Map/Reduce Locations。Eclipse窗口下会有如下显示。


筹建Eclipse下运行Mapreduce代码的环境
?

在这个View中,右键-->New Hadoop Location。弹出如下对话框:


筹建Eclipse下运行Mapreduce代码的环境
?

需要配置Location name,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。

配置完了,会在eclipse窗口看到


筹建Eclipse下运行Mapreduce代码的环境
?

?

这里我是建了两个DFS Locations,hadoop连接的192.168.71.128就是没有配置好,下面的hadoop-1.0.0就是配置好了。

第四步:新建项目。

File-->New-->Other-->Map/Reduce Project。

随便可以取个工程名。现在以Hadoop自带的WordCount.java为例来说明如何运行这个mapreduce任务。

把hadoop安装目录下的/src/example/org/apache/hadoop/example/WordCount.java复制到刚才新建的项目下面。

第五步:创建输入文件。

1.在终端连上机器10.20.153.125,在这台机器上新建input文件夹:

接着创建两个file文件:

2.将本机上的输入文件上传到hdfs上:


筹建Eclipse下运行Mapreduce代码的环境
?

?

第六步:运行代码。

1.? ? ? 在新建的项目WordCount,点击WordCount.java,右键-->Run As-->Run Configurations

2.在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount

3.配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,

?


筹建Eclipse下运行Mapreduce代码的环境
?

?


筹建Eclipse下运行Mapreduce代码的环境
?

4.设置完了就点下这个Run,运行程序,过段时间将运行完成,等运行结束后,可以在终端中用命令:hadoop fs –ls /user/hadoop/output1

结果如下:

?


筹建Eclipse下运行Mapreduce代码的环境
?

热点排行