首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 企业软件 > 行业软件 >

"淘宝网HDFS元数据的独力服务和独立持久化存储"分享总结

2013-07-16 
淘宝网HDFS元数据的独立服务和独立持久化存储分享总结概述:此分享是关于淘宝网HDFS元数据的独立服务和独

"淘宝网HDFS元数据的独立服务和独立持久化存储"分享总结

概述:

此分享是关于淘宝网HDFS元数据的独立服务和独立持久化存储的汇总

?

汇总点:

Namenode内存中的关键数据结构部分或全部挪到第三方,并持久化保存;引入BlockChecker,检测Block副本数是否满足期望;Datanode的改进包括:实现Namenode选择策略;Client的改进包括:重连机制和选择NN节点机制;

?

选择流程包括:

流程一:DN启动时连接NN。DN需要根据选取策略,从NN列表中选取一个可用的NN地址建立连接,否则流程失败;流程二:当前已连接的NN失效,DN重新选择NN,并进行连接;流程三:手动或自动更新NN列表;

?

更多详情参见附件

热点排行