HDFS HA机器解决方案笔记
原因
由于只有一个NameNode,势必存在单节点故障,因此HDFS的可靠性取决于NameNode的HA
HDFS的HA解决方案:
出发点
主要是从使用者的角度出发,提高元数据的可靠性,减少NameNode的服务恢复时间
措施
提高元数据可靠性的措施主要是对元数据进行备份,二HDFS本身具有多种机制来确保原数据的可靠性dy
减少NameNode服务恢复时间的两种措施:
1,,基于NameNode恢复重启服务的方式,对NameNode自身启动的过程进行分析,优化加载过程,较少启动时间
2,启动一个NameNode的热备节点(warm standby),当主节点不能服务时,有热备节点来接替服务,此时切换时间成为服务恢复时间
现有成熟的HA解决方案
Hadoop的元数据备份方案
Hadoop的Secondry NameNode方案
Hadoop的checkpoint Node方案
Hadoop的Backup Node解决方案
DRDB解决方案
FACEBOOK的avartanode方案
高可用性的HDFSHadoop分布式文件系统深度实践 笔记
----------------------------------------------------------------------