hadoop 学习要点

一、HDFS

（一）HDFS?概念

（二）HDFS命令行接口

（三）Java?接口

（四）文件读取和文件写入，一致性

（五）集群数据的均衡

（六）存档?

（七）NameNode?单点故障问题

（八）大量小文件处理策略

（九）数据备份和恢复

（十）数据安全

（十一）负载均衡和垃圾回收

（十二）安装新节点

（十三）卸载节点

（十四）HDFS优化

（十五）HDFS格式化过程

（十六）数据压缩

（十七）当前单NameNode?的优势和劣势和改进办法

（十八）HDFS架构和设计要点

1.?NameNode和DataNode

2.?文件系统的NameSpace

3.?镜像和编辑日志

4.?数据拷贝

5.?文件系统元数据的持久化

6.?通讯协议

7.?健壮性

8.?数据组织

9.?可访问性

二、Hadoop?I/O

?

（一）数据完整性

?

（二）压缩

?

（三）序列化

?

（四）基于文件的数据结构

1.?MapFile

2.?SequenceFile

三、MapReduce?工作机制

?

（一）MapReduce?Job运行过程

?

（二）TaskTaker?机制

?

（三）JobTraker机制

?

（四）任务失败

?

（五）Job的调度

?

（六）Suffer?和排序

?

（七）任务的执行

?

（八）配置优化和MapReduce?Job优化

四、MapReduce?Job?编写

（一）MapReduce?组件

（二）输入格式

（三）输出格式

（四）计数器

（五）链接

Map端链接

Reduce端链接

（六）排序

部分排序

全排序

辅助排序

（七）边数据分布

?

五、读Mysql数据

六、自定义组件

七、用MapReduce?实现矩阵乘法

八、用MapReduce?实现常见机器学习算法

九、Reduce?不均匀

分区的Key和分区函数是操作Reduce分区造成不均匀的原因，策略：修改

十、MapReduce设计模式

（一）摘要模式

（二）过滤器模式

（三）数据组织模式

（四）Join模式

（五）元模式

（六）输入输出模式

（七）吞吐量和趋势<!--EndFragment-->