"淘宝网HDFS元数据的独立服务和独立持久化存储"分享总结
概述:
此分享是关于淘宝网HDFS元数据的独立服务和独立持久化存储的汇总
?
汇总点:
Namenode内存中的关键数据结构部分或全部挪到第三方,并持久化保存;引入BlockChecker,检测Block副本数是否满足期望;Datanode的改进包括:实现Namenode选择策略;Client的改进包括:重连机制和选择NN节点机制;
?
选择流程包括:
流程一:DN启动时连接NN。DN需要根据选取策略,从NN列表中选取一个可用的NN地址建立连接,否则流程失败;流程二:当前已连接的NN失效,DN重新选择NN,并进行连接;流程三:手动或自动更新NN列表;
?
更多详情参见附件