[综合]Apache Hadoop 2.2.0集群安装(1)[翻译]
export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}"
其他有用的可定制化参数包括:
?
HADOOP_LOG_DIR?/?YARN_LOG_DIR?:进程日志目录,如果不存在会自动创建。
HADOOP_HEAPSIZE?/?YARN_HEAPSIZE:内存堆大小默认单位为M,如果变量设置成1000?那么堆内存会设置成1000M,默认为1000,如果你需要配置他那么你可以为每个节点单独配置。
?
mapreduce.jobhistory.done-dir/mr-history/doneDirectory where history files are managed by the MR JobHistory Server.?
Hadoop机架感知
HDFS和YARN服务可机架感知的
NameNode 和ResourceManager通过调用api来获取集群中每个从节点的机架信息。
api以dns名称(或ip)作为一个机架id
这个模块也是可配置的,通过topology.node.switch.mapping.impl来配置,可以通过命令行参数topology.script.file.name来配置,如果topology.script.file.name没有配置那么默认其ip为机架id。