首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 开源软件 >

hadoop中地图red.tasktracker.地图.tasks.maximum的设置

2012-06-30 
hadoop中mapred.tasktracker.map.tasks.maximum的设置(转自高飞鸟)hadoop中默认的mapred.tasktracker.map.

hadoop中mapred.tasktracker.map.tasks.maximum的设置

(转自高飞鸟)

hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2

也即:每一个tasktracker同时运行的map任务数为2

?某公司经过测试,发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目或者数目减1比较合适此时的运行效率最高。

如果机器是8核的,所以最终配置如下:

<property>
??? <name>mapred.tasktracker.map.tasks.maximum</name>
??? <value>8</value>
??? <description>The maximum number of map tasks that will be run
??? simultaneously by a task tracker.
??? </description>
</property>

而对于mapred.map.tasks(每个job的map任务数)值,hadoop默认值也为2

可以在执行hive前,通过set mapred.map.tasks=24来设定

但由于使用hive,会操作多个input文件,所以hive默认会把map的任务数设置成输入的文件数目

即使你通过set设置了数目,也不起作用…

热点排行