5-Data/name/secondaryname/node
?
简称 Dn?? 全称? datanode?
?
保存Block
?
启动DN线程的时候会向NN汇报block信息
?
通过向NN发送心跳保持与其联系(3秒一次),如果NN 10分钟没有收到DN的心跳,则认为其已经lost,并copy其上的block到其它DN
?
?
?
简称Nn 全称 namenode
?
NameNode主要功能提供名称查询服务,它是一个jetty服务器
?
NameNode保存metadate信息包括
?
文件owership和permissions
?
文件包含哪些块
?
Block保存在哪个DataNode(由DataNode启动时上报)
?
NameNode的metadate信息在启动后会加载到内存
?
metadata存储到磁盘文件名为”fsimage”????????
?
Block的位置信息不会保存到fsimage
?
?
?
?
?
简称Snn 全称 secondaryname node
?
不是NN的热备份
?
可以作为NN的备份
?
帮助NN合并edits log 减少NN启动时间
?
?
?
?
?
?
?
Block的副本放置策略
?
?
?
第一个副本:放置在上传文件的DN;如果是集群外提交,则随机挑选一台磁盘不太满,CPU不太忙的节点
?
第二个副本:放置在于第一个副本不同的机架的节点上
?
第三个副本:与第二个副本相同集群的节点
?
更多副本:随机节点
?
?
?
?
?
?
?
Block
?
?
?
设置一个Block 64MB,如果上传文件小于该值,仍然会占用一个Block的命名空间(NameNode metadata),但是物理存储上不会占用64MB的空间
?
Block大小和副本数由Client端上传文件到HDFS时设置,其中副本数可以变更,Block是不可以再上传后变更的
?