首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

五-Data/name/secondaryname/node

2013-11-09 
5-Data/name/secondaryname/node?简称 Dn?? 全称? datanode? ?保存Block?启动DN线程的时候会向NN汇报block

5-Data/name/secondaryname/node

?

简称 Dn?? 全称? datanode?

?

保存Block

?

启动DN线程的时候会向NN汇报block信息

?

通过向NN发送心跳保持与其联系(3秒一次),如果NN 10分钟没有收到DN的心跳,则认为其已经lost,并copy其上的block到其它DN

?

?

?

简称Nn 全称 namenode

?

NameNode主要功能提供名称查询服务,它是一个jetty服务器

?

NameNode保存metadate信息包括

?

文件owership和permissions

?

文件包含哪些块

?

Block保存在哪个DataNode(由DataNode启动时上报)

?

NameNode的metadate信息在启动后会加载到内存

?

metadata存储到磁盘文件名为”fsimage”????????

?

Block的位置信息不会保存到fsimage

?

?

?

?

?

简称Snn 全称 secondaryname node

?

不是NN的热备份

?

可以作为NN的备份

?

帮助NN合并edits log 减少NN启动时间

?

?

?

?

?

?

?

Block的副本放置策略

?

?

?

第一个副本:放置在上传文件的DN;如果是集群外提交,则随机挑选一台磁盘不太满,CPU不太忙的节点

?

第二个副本:放置在于第一个副本不同的机架的节点上

?

第三个副本:与第二个副本相同集群的节点

?

更多副本:随机节点

?

?

?

?

?

?

?

Block

?

?

?

设置一个Block 64MB,如果上传文件小于该值,仍然会占用一个Block的命名空间(NameNode metadata),但是物理存储上不会占用64MB的空间

?

Block大小和副本数由Client端上传文件到HDFS时设置,其中副本数可以变更,Block是不可以再上传后变更的

?

热点排行