首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > 云计算 >

Hadoop实现AbstractJob简单化Job设置

2013-10-08 
Hadoop实现AbstractJob简化Job设置在hadoop中编写一个job一般都是采用下面的方式:红色方框里面的内容,即是

Hadoop实现AbstractJob简化Job设置

在hadoop中编写一个job一般都是采用下面的方式:


红色方框里面的内容,即是设置的参数;

同时调用prepareJob方法可以简化Job的参数设置。比如设置Mapper、MapperOutPutKey等等都要一行代码,现在全部只需一行即可;如果要设置参数以供Mapper和Reducer中使用,可以使用job.getConfiguration().set("sc", sc)来进行设置。


分享,成长,快乐

转载请注明blog地址:http://blog.csdn.net/fansy1990




1楼fansy1990昨天 18:37
关于prepareJob()方法的调用还有待验证。追踪到HadoopUtils.prepareJob()方法,看到job.setJarByClass(mapper);这个怎么设置mapper为jar了?那暂时还是用原来的job.setXxx()来吧,这个调用肯定有问题了。

热点排行