ChainMapper和ChainReducer的实现原理
??由于项目中要用到ChainMapper和ChainReducer来实现数据处理流程的优化,故今天特意花了半天的时间研究了一下这两个类的实现源代码,先总结如下:
?实现类:Chain,ChainMapper , ChainReducer
第一步:配置链
?? ? ? ? JobConf
?? ? ? ?addMapper
?? ? ? ?setReducer
?? ? ? ?addMapper
第二步:实现:chain
?? ? ? ?configue:
?? ? ? ?map:
?? ? ? ?reduce:
?? ? ? ?close:
?? ? ? 传值还是传引用,使用过程中这点是很重要的,在map后或者reduce后你还需要使用这个值的话,这点是非常重要的。
1 楼 chenwq 2012-05-27 Chain中貌似只有ChainMapper(addMapper),而没有ChainReducer(setReducer)啊?