HDFS v2 HA方案对比
Apache提供了两种HDFS v2 的HA方案。HA的具体实现和使用方式本文就不赘述了,可以参考以下链接:
HA with NFS?
HA with QJM
CDH(Cloudera的Hadoop发行版)在早期的版本中只支持HA with NFS方案。自CDH4.1起,增加对HA with QJM的支持。QJM由Cloudera设计,并已经merge到Hadoop的TRUNK(HDFS-3077)。
?
本文旨在对比两种HA方案,为HA选型提供帮助。我们假定读者已经对HDFSv2有一定的了解,对于HDFSv1 HA了解与否并不会影响对本文的理解,因为v2的HA方案和v1的诸多HA实现有相当的差别。
?
首先我们来罗列两者的共同点:都是热备方案HDFS with NFS
HDFS with ?JQM
?
罗列两方案的不同点:共享数据方式不同。
HA with NFS方案是共享变更的一种方案。active NN 和 standby NN需要共享一个存储目录。active NN会把数据变更日志保存在该目录内,standby NN则监视更新,并保持数据同步。为了快速切换NN,DataNode(DN)需要知道两个NN的地址,并把块信息和心跳包发送给active和standby这两个NN。此外,为了保证active NN挂了以后不再有新数据写入,Fencing逻辑在确认active NN挂了以后会切断所有与原active NN的连接。?
HA with NFS存在一些限制1. HA能力NFS方案目前只支持一个数据变更共享目录,导致HA能力受限于该目录To be continued...