首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

Reducer数额最佳值的设定

2013-09-28 
Reducer数目最佳值的设定Reducer数目最佳值的设定reducer slots的总数 集群中的总的节点数*每个节点有多

Reducer数目最佳值的设定

Reducer数目最佳值的设定

reducer slots的总数 = 集群中的总的节点数*每个节点有多少个slots
Reducer数目的最佳值和reducer slots的数目有关,通常情况下让Reducers的数目略小于reducer slots的数目
在设置Reducer的数目的时候也要考虑Mapper的数量,如果Reducer的数量大于Mapper的数量的话,那么就会造成在执行的过程中多出的Reducer不会工作,造成资源的浪费

热点排行