Hadoop配置文件表（如需要请下载附件）?HDFS????参数描述默认配置文件例子值fs.default.name namenode RPC交
Hadoop配置文件表（如需要请下载附件）
?
HDFS????参数描述默认配置文件例子值fs.default.name namenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address?NameNode web管理端口50070hdfs- site.xml0.0.0.0:50070dfs.datanode.addressdatanode 控制端口50010hdfs -site.xml?0.0.0.0:50010dfs.datanode.ipc.addressdatanode的RPC服务器地址和端口50020hdfs-site.xml0.0.0.0:50020dfs.datanode.http.addressdatanode的HTTP服务器和端口50075hdfs-site.xml?0.0.0.0:50075MapReduce????参数描述默认配置文件例子值mapred.job.trackerjob-tracker交互端口?8021mapred-site.xmlhdfs://master:8021/jobtracker的web管理端口50030mapred-site.xml0.0.0.0:50030mapred.task.tracker.http.addresstask-tracker的HTTP端口50060mapred-site.xml0.0.0.0:50060其他端口????参数描述默认配置文件例子值dfs.secondary.http.addresssecondary NameNode web管理端口50090hdfs-site.xml0.0.0.0:50090core-default.html????参数名参数值参数说明??hadoop.tmp.dir??????? ?????????????/tmp/hadoop-${user.name}?????????????????????????????临时目录设定??hadoop.native.lib??????????????????true?????????????????????????????????????????????????使用本地hadoop库标识。??hadoop.http.filter.initializers?????????????????????????????????????????????????????????http服务器过滤链设置???????????????????????????hadoop.security.group.mapping???org.apache.hadoop.security.ShellBasedUnixGroupsMapping组内用户的列表的类设定??hadoop.security.authorization??????false????????????????????????????????????????????????服务端认证开启??hadoop.security.authentication???simple ???????????????????????????????????????????????无认证或认证设置??hadoop.security.token.service.use_iptrue?????????????????????????????????????????????????是否开启使用IP地址作为连接的开关??hadoop.logfile.size????????????????10000000日志文件最大为10M??hadoop.logfile.count10日志文件数量为10个??io.file.buffer.size4096流文件的缓冲区为4K??io.bytes.per.checksum512校验位数为512字节??io.skip.checksum.errorsfalse校验出错后是抛出异常还是略过标识。True则略过。??io.compression.codecsorg.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec压缩和解压的方式设置??io.serializationsorg.apache.hadoop.io.serializer.WritableSerialization序例化和反序列化的类设定??fs.default.namefile:///????????????????????????????????????????????缺省的文件URI标识设定。??fs.trash.interval0文件废弃标识设定，0为禁止此功能??fs.file.implorg.apache.hadoop.fs.LocalFileSystem????????????????本地文件操作类设置??fs.hdfs.implorg.apache.hadoop.hdfs.DistributedFileSystem????????HDFS文件操作类设置??fs.s3.implorg.apache.hadoop.fs.s3.S3FileSystem????????????????S3文件操作类设置??fs.s3n.impl?????????????org.apache.hadoop.fs.s3native.NativeS3FileSystemS3文件本地操作类设置??fs.kfs.impl?????????????org.apache.hadoop.fs.kfs.KosmosFileSystemKFS文件操作类设置.???fs.hftp.impl????????????org.apache.hadoop.hdfs.HftpFileSystemHTTP方式操作文件设置??fs.hsftp.impl???????????org.apache.hadoop.hdfs.HsftpFileSystemHTTPS方式操作文件设置??fs.webhdfs.impl?????????org.apache.hadoop.hdfs.web.WebHdfsFileSystemWEB方式操作文件类设置??fs.ftp.impl?????????????org.apache.hadoop.fs.ftp.FTPFileSystemFTP文件操作类设置??fs.ramfs.impl???????????org.apache.hadoop.fs.InMemoryFileSystem内存文件操作类设置??fs.har.impl?????????????org.apache.hadoop.fs.HarFileSystem压缩文件操作类设置.??fs.har.impl.disable.cachetrue是否缓存har文件的标识设定??fs.checkpoint.dir???????${hadoop.tmp.dir}/dfs/namesecondary备份名称节点的存放目前录设置??fs.checkpoint.edits.dir?????${fs.checkpoint.dir}备份名称节点日志文件的存放目前录设置??fs.checkpoint.period????????3600动态检查的间隔时间设置??fs.checkpoint.size??????????67108864日志文件大小为64M??fs.s3.block.size????????????67108864写S3文件系统的块的大小为64M??fs.s3.buffer.dir????????????${hadoop.tmp.dir}/s3S3文件数据的本地存放目录??fs.s3.maxRetries????????????4S3文件数据的偿试读写次数??fs.s3.sleepTimeSeconds??????10S3文件偿试的间隔??local.cache.size????????????10737418240缓存大小设置为10GB??io.seqfile.compress.blocksize1000000压缩流式文件中的最小块数为100万??io.seqfile.lazydecompress???true块是否需要压缩标识设定??io.seqfile.sorter.recordlimit1000000内存中排序记录块类最小为100万??io.mapfile.bloom.size1048576BloomMapFiler过滤量为1M??io.mapfile.bloom.error.rate0.005???hadoop.util.hash.typemurmur缺少hash方法为murmur??ipc.client.idlethreshold4000连接数据最小阀值为4000???ipc.client.kill.max10一个客户端连接数最大值为10??ipc.client.connection.maxidletime10000断开与服务器连接的时间最大为10秒??ipc.client.connect.max.retries10建立与服务器连接的重试次数为10次??ipc.server.listen.queue.size128接收客户连接的监听队例的长度为128??ipc.server.tcpnodelayfalse开启或关闭服务器端TCP连接算法??ipc.client.tcpnodelayfalse开启或关闭客户端TCP连接算法??webinterface.private.actionsfalseWeb交互的行为设定
???hadoop.rpc.socket.factory.class.default????org.apache.hadoop.net.StandardSocketFactory缺省的socket工厂类设置??hadoop.rpc.socket.factory.class.ClientProtocol?与dfs连接时的缺省socket工厂类??hadoop.socks.server???????????????????????????服务端的工厂类缺省设置为SocksSocketFactory.??topology.node.switch.mapping.impl????????????org.apache.hadoop.net.ScriptBasedMapping???topology.script.file.name????????????????????????topology.script.number.args????????????????100参数数量最多为100??hadoop.security.uid.cache.secs????????????14400???hdfs-default.html????参数名参数值参数说明??dfs.namenode.logging.level???????info?????????输出日志类型??dfs.secondary.http.address?????0.0.0.0:50090备份名称节点的http协议访问地址与端口??????????????????????????????????????????????????????????????????????????????????????dfs.datanode.address?????????????0.0.0.0:50010数据节点的TCP管理服务地址和端口??dfs.datanode.http.address????????0.0.0.0:50075数据节点的HTTP协议访问地址和端口??dfs.datanode.ipc.address?????????0.0.0.0:50020数据节点的IPC服务访问地址和端口??dfs.datanode.handler.count???????3数据节点的服务连接处理线程数??dfs.http.address?????????????????0.0.0.0:50070名称节点的http协议访问地址与端口??dfs.https.enable?????????????????false????????支持https访问方式标识??dfs.https.need.client.auth???????false????????客户端指定https访问标识??dfs.https.server.keystore.resourcessl-server.xmlSsl密钥服务端的配置文件??dfs.https.client.keystore.resourcessl-client.xmlSsl密钥客户端的配置文件??dfs.datanode.https.address???????0.0.0.0:50475数据节点的HTTPS协议访问地址和端口??dfs.https.address????????????????0.0.0.0:50470名称节点的HTTPS协议访问地址和端口??dfs.datanode.dns.interface???????default??????数据节点采用IP地址标识??dfs.datanode.dns.nameserver??????default??????指定DNS的IP地址??dfs.replication.considerLoad?????true?????????加载目标或不加载的标识??dfs.default.chunk.view.size??????32768浏览时的文件块大小设置为32K??dfs.datanode.du.reserved?????????0每个卷预留的空闲空间数量??dfs.name.dir?????????????????????${hadoop.tmp.dir}/dfs/name存贮在本地的名字节点数据镜象的目录,作为名字节点的冗余备份??dfs.name.edits.dir???????????????${dfs.name.dir}??????????存贮文件操作过程信息的存贮目录??dfs.web.ugi??????????????????????webuser,webgroup?????????Web接口访问的用户名和组的帐户设定??dfs.permissions??????????????????true?????????????????????文件操作时的权限检查标识。??dfs.permissions.supergroup???????supergroup???????????????超级用户的组名定义??dfs.block.access.token.enable????false????????????????????数据节点访问令牌标识??dfs.block.access.key.update.interval600升级访问钥时的间隔时间??dfs.block.access.token.lifetime????600访问令牌的有效时间??dfs.data.dir?????????? ?????????????${hadoop.tmp.dir}/dfs/data数据节点的块本地存放目录??dfs.datanode.data.dir.perm?????????755数据节点的存贮块的目录访问权限设置??dfs.replication????????????????????3缺省的块复制数量??dfs.replication.max?????????????? ??512块复制的最大数量??dfs.replication.min????????????????1块复制的最小数量???dfs.block.size?????????????????????67108864缺省的文件块大小为64M??dfs.df.interval????????????????????60000磁盘空间统计间隔为6秒??dfs.client.block.write.retries?????3块写入出错时的重试次数??dfs.blockreport.intervalMsec???????3600000块的报告间隔时为1小时??dfs.blockreport.initialDelay???????0块顺序报告的间隔时间??dfs.heartbeat.interval?????????????3数据节点的心跳检测间隔时间??dfs.namenode.handler.count?????????10名称节点的连接处理的线程数量??dfs.safemode.threshold.pct??0.999f???????????????????启动安全模式的阀值设定
???dfs.safemode.extension?????????????30000当阀值达到量值后扩展的时限??dfs.balance.bandwidthPerSec????????1048576启动负载均衡的数据节点可利用带宽最大值为1M??dfs.hosts???????????????????????????可与名称节点连接的主机地址文件指定。??dfs.hosts.exclude???????????????????不充计与名称节点连接的主机地址文件设定??dfs.max.objects????????????????????0文件数、目录数、块数的最大数量??dfs.namenode.decommission.interval?30名称节点解除命令执行时的监测时间周期??dfs.namenode.decommission.nodes.per.interval5名称节点解除命令执行是否完检测次数??dfs.replication.interval???????????????????3名称节点计算数据节点的复制工作的周期数.??dfs.access.time.precision???????????????3600000充许访问文件的时间精确到1小时??dfs.support.append?????????????????????????false???是否充许链接文件指定??dfs.namenode.delegation.key.update-interval86400000名称节点上的代理令牌的主key的更新间隔时间为24小时??dfs.namenode.delegation.token.max-lifetime?604800000代理令牌的有效时间最大值为7天??dfs.namenode.delegation.token.renew-interval86400000代理令牌的更新时间为24小时??dfs.datanode.failed.volumes.tolerated0决定停止数据节点提供服务充许卷的出错次数。0次则任何卷出错都要停止数据节点??mapred-default.html????参数名参数值参数说明??hadoop.job.history.location?作业跟踪管理器的静态历史文件的存放目录。??hadoop.job.history.user.location?可以指定具体某个作业的跟踪管理器的历史文件存放目录??mapred.job.tracker.history.completed.location?已完成作业的历史文件的存放目录??io.sort.factor10排完序的文件的合并时的打开文件句柄数??io.sort.mb100排序文件的内存缓存大小为100M??io.sort.record.percent0.05排序线程阻塞的内存缓存剩余比率??io.sort.spill.percent0.8当缓冲占用量为该值时，线程需要将内容先备份到磁盘中。??io.map.index.skip0索引条目的间隔设定??mapred.job.tracker?local??????作业跟踪管理器是否和MR任务在一个进程中??mapred.job.tracker.http.address0.0.0.0:50030作业跟踪管理器的HTTP服务器访问端口和地址??mapred.job.tracker.handler.count??????????10作业跟踪管理器的管理线程数,线程数比例是任务管理跟踪器数量的0.04??mapred.task.tracker.report.address????127.0.0.1:0任务管理跟踪器的主机地址和端口地址
???mapred.local.dir??????????????????????????${hadoop.tmp.dir}/mapred/local?MR的中介数据文件存放目录??mapred.system.dir?????????????????????????${hadoop.tmp.dir}/mapred/systemMR的控制文件存放目录??mapreduce.jobtracker.staging.root.dir?????${hadoop.tmp.dir}/mapred/staging每个正在运行作业文件的存放区??mapred.temp.dir???????????????????????????${hadoop.tmp.dir}/mapred/temp??MR临时共享文件存放区?????mapred.local.dir.minspacestart????????????0MR本地中介文件删除时，不充许有任务执行的数量值。??mapred.local.dir.minspacekill?????????????0MR本地中介文件删除时，除非所有任务都已完成的数量值。??mapred.tasktracker.expiry.interval600000任务管理跟踪器不发送心跳的累计时间间隔超过600秒，则任务管理跟踪器失效??mapred.tasktracker.resourcecalculatorplugin?指定的一个用户访问资源信息的类实例??mapred.tasktracker.taskmemorymanager.monitoring-interval5000监控任务管理跟踪器任务内存使用率的时间间隔??mapred.tasktracker.tasks.sleeptime-before-sigkill??????5000发出进程终止后，间隔5秒后发出进程消亡信号
???mapred.map.tasks???????????????????????????????????????2每个作业缺省的map任务数为2??mapred.reduce.tasks??????????????????????????????????1每个作业缺省的reduce任务数为1??mapreduce.tasktracker.outofband.heartbeat??????????????false??让在任务结束后发出一个额外的心跳信号??mapreduce.tasktracker.outofband.heartbeat.damper???????1000000当额外心跳信号发出量太多时，则适当阻止
???mapred.jobtracker.restart.recover???????????????????false??充许任务管理器恢复时采用的方式??mapred.jobtracker.job.history.block.size???????????3145728作业历史文件块的大小为3M???mapreduce.job.split.metainfo.maxsize???????????????10000000分隔元信息文件的最大值是10M以下
???mapred.jobtracker.taskScheduler?????????????????????org.apache.hadoop.mapred.JobQueueTaskScheduler设定任务的执行计划实现类??mapred.jobtracker.taskScheduler.maxRunningTasksPerJob?作业同时运行的任务数的最大值??mapred.map.max.attempts?????????????????????????????4Map任务的重试次数??mapred.reduce.max.attempts??????????????????????????4Reduce任务的重试次数??mapred.reduce.parallel.copies????????????????????? ??5在复制阶段时reduce并行传送的值。??mapreduce.reduce.shuffle.maxfetchfailures???????????10取map输出的最大重试次数??mapreduce.reduce.shuffle.connect.timeout????????????180000REDUCE任务连接任务管理器获得map输出时的总耗时是3分钟??????????
???mapreduce.reduce.shuffle.read.timeout???????????????180000REDUCE任务等待map输出数据的总耗时是3分钟??mapred.task.timeout?????????????????????????????????600000如果任务无读无写时的时间耗时为10分钟，将被终止??mapred.tasktracker.map.tasks.maximum??????????????2任管管理器可同时运行map任务数为2??mapred.tasktracker.reduce.tasks.maximum????????????2任管管理器可同时运行reduce任务数为2??mapred.jobtracker.completeuserjobs.maximum?100当用户的完成作业数达100个后，将其放入作业历史文件中??mapreduce.reduce.input.limit???????????????-1Reduce输入量的限制。??mapred.job.tracker.retiredjobs.cache.size??1000作业状态为已不在执行的保留在内存中的量为1000??mapred.job.tracker.jobhistory.lru.cache.size5作业历史文件装载到内存的数量??mapred.child.java.opts?????????????????????-Xmx200m启动task管理的子进程时的内存设置??mapred.child.env??????????????????????????????????子进程的参数设置??mapred.child.ulimit???????????????????????????????虚拟机所需内存的设定。??mapred.cluster.map.memory.mb???????????????-1???mapred.cluster.reduce.memory.mb????????????-1???mapred.cluster.max.map.memory.mb???????????-1???mapred.cluster.max.reduce.memory.mb????????-1???mapred.job.map.memory.mb???????????????????-1???mapred.job.reduce.memory.mb????????????????-1???mapred.child.tmp???????????????????????????/tmp???Mr任务信息的存放目录??mapred.inmem.merge.threshold???????????????1000内存中的合并文件数设置??mapred.job.shuffle.merge.percent???????????0.66??????????????????????????????????????????????????????????????????????? ???????????????mapred.job.shuffle.input.buffer.percent????0.7???mapred.job.reduce.input.buffer.percent?????0???mapred.map.tasks.speculative.execution?????true???Map任务的多实例并行运行标识??mapred.reduce.tasks.speculative.execution??true???Reduce任务的多实例并行运行标识??mapred.job.reuse.jvm.num.tasks1每虚拟机运行的任务数??mapred.min.split.size0Map的输入数据被分解的块数设置??mapred.jobtracker.maxtasks.per.job-1一个单独作业的任务数设置??mapred.submit.replication10提交作业文件的复制级别??mapred.tasktracker.dns.interfacedefault?????任务管理跟踪器是否报告IP地址名的开关???mapred.tasktracker.dns.nameserverdefault?????作业和任务管理跟踪器之间通讯方式采用的DNS服务的主机名或IP地址??tasktracker.http.threads40http服务器的工作线程数量??mapred.task.tracker.http.address0.0.0.0:50060任务管理跟踪器的http服务器的地址和端口??keep.failed.task.filesfalse???????失败任务是否保存到文件中
???mapred.output.compressfalse???????作业的输出是否压缩??mapred.output.compression.typeRECORD??????作业输出采用NONE, RECORD or BLOCK三种方式中一种压缩的写入到流式文件??mapred.output.compression.codecorg.apache.hadoop.io.compress.DefaultCodec压缩类的设置??mapred.compress.map.outputfalse????????????????????????????????????Map的输出是否压缩??mapred.map.output.compression.codecorg.apache.hadoop.io.compress.DefaultCodecMap的输出压缩的实现类指定??map.sort.classorg.apache.hadoop.util.QuickSort?????????排序键的排序类指定??mapred.userlog.limit.kb0每个任务的用户日志文件大小??mapred.userlog.retain.hours24作业完成后的用户日志留存时间为24小时??mapred.user.jobconf.limit5242880Jobconf的大小为5M??mapred.hosts?????????????????????????????????????????可与作业管理跟踪器连接的主机名??mapred.hosts.exclude?? ???????????????????????????????????????不可与作业管理跟踪器连接的主机名??mapred.heartbeats.in.second????????????????????100作业管理跟踪器的每秒中到达的心跳数量为100??mapred.max.tracker.blacklists??????????????????4任务管理跟踪器的黑名单列表的数量??mapred.jobtracker.blacklist.fault-timeout-window180任务管理跟踪器超时180分钟则訪任务将被重启??mapred.jobtracker.blacklist.fault-bucket-width?15???mapred.max.tracker.failures??????????????????4任务管理跟踪器的失败任务数设定??jobclient.output.filter????????????????????????FAILED?????????????控制任务的用户日志输出到作业端时的过滤方式??mapred.job.tracker.persist.jobstatus.active????false??????????????是否持久化作业管理跟踪器的信息??mapred.job.tracker.persist.jobstatus.hours?????0持久化作业管理跟踪器的信息的保存时间??mapred.job.tracker.persist.jobstatus.dir???????/jobtracker/jobsInfo作业管理跟踪器的信息存放目录??mapreduce.job.complete.cancel.delegation.tokenstrue???????????????恢复时是否变更领牌?????mapred.task.profile????????????????????????????false??????????????任务分析信息是否建设标志??mapred.task.profile.maps???????????????????????0-2????????????????设置map任务的分析范围??mapred.task.profile.reduces????????????????????0-2????????????????设置reduce任务的分析范围??mapred.line.input.format.linespermap??????????1每次切分的行数设置??mapred.skip.attempts.to.start.skipping?????????2在跳转模式未被设定的情况下任务的重试次数??????????????????????????????????????????????????????????????????????????????????????mapred.skip.map.auto.incr.proc.count???????????true???????????????MapRunner在调用map功能后的增量处理方式设置??mapred.skip.reduce.auto.incr.proc.count???????true???????????????在调用reduce功能后的增量处理方式设置??mapred.skip.out.dir??????????????????????? ????????????????????????跳过记录的输出目录??mapred.skip.map.max.skip.records????????????0???mapred.skip.reduce.max.skip.groups???????????0???job.end.retry.attempts?????????????????????????0Hadoop偿试连接通知器的次数????job.end.retry.interval????????????????????????30000通知偿试回应的间隔操作为30秒??hadoop.rpc.socket.factory.class.JobSubmissionProtocol?指定与作业跟踪管理器的通讯方式，缺省是采用rpc方式??mapred.task.cache.levels????????????????????????????2任务缓存级别设置??mapred.queue.names???????????????????????????????default分隔作业队例的分隔符设定??mapred.acls.enabled?????????????????????????????????false?指定ACL访问控制列表??mapred.queue.default.state?? ????????????????????????RUNNING定义队列的状态??mapred.job.queue.name????????????????????????????default已提交作业的队列设定??mapreduce.job.acl-modify-job??????????????????????????????指定可修改作业的ACL列表??mapreduce.job.acl-view-job????????????????????????????????指定可浏临作业的ACL列表??mapred.tasktracker.indexcache.mb????????????????10任务管理跟踪器的索引内存的最大容器??mapred.combine.recordsBeforeProgress?????????????10000在聚合处理时的记录块数
???mapred.merge.recordsBeforeProgress?????????????10000在汇总处理时的记录块数??mapred.reduce.slowstart.completed.maps???????????0.05???mapred.task.tracker.task-controller??????????????org.apache.hadoop.mapred.DefaultTaskController任务管理器的设定??mapreduce.tasktracker.group??????????????? ????????????????????????????????????????????????????任务管理器的组成员设定??mapred.healthChecker.script.path??????????????????????????????????????????????????????????????脚本的绝对路径指定，这些脚本是心跳服务的??mapred.healthChecker.interval????????????????????60000节点心跳信息的间隔??mapred.healthChecker.script.timeout???????????????600000???mapred.healthChecker.script.args????????????????????????????????????????????????????????????????参数列表
???mapreduce.job.counters.limit??????????? ?????????????120作业计数器的最小值??
