Namenode和Secondary namenode如何配合
1、Namenode的目录结构:
?????????? ${dfs.name.dir}/current /VERSION
????????????????????????????????????????????????? /edits
???????????????????????????????????????????????? ?/fsimage
????????????????????????????????????????????????? /fstime
dfs.name.dir是hdfs-site.xml里配置的若干个目录组成的列表:
?????????????
??
这样能够保证namenode有一个较新的fsimage文件和一个小的edit log 日志文件。上述过程也可以通过hadoop dfsadmin? -saveNamespace命令完成。
?
这也解释了下面的问题:
?? (1)、为什么namenode和Secondary namenode需要同样大内存
?? (2)、大集群中namenode和Secondary namenode需要是各自独立的两个节点。
?
而触发Secondary namenode发生check point,受2个参数控制:
?
?? fs.checkpoint.period:默认一小时
?? fs.checkpoint.size:edit log 大小达到64MB
?
?
?
?