首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

hadoop经典系列(0)初识hadoop

2013-12-04 
hadoop经典系列(零)初识hadoopApache Hadoop更准确的说是一个基础架构平台。主要提供分布式文件存储,云计算

hadoop经典系列(零)初识hadoop
    Apache Hadoop更准确的说是一个基础架构平台。主要提供分布式文件存储,云计算。
    具体这个大平台包括Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)以及一些相关项目,有Apache Hive和Apache HBase等等。
    使用hadoop,要结合zookeeper,Hbase使用。
    目前有2个主要版本,1.0和2.0。其中各个版本的文件结构都是不兼容的。但是原理都差不多。而对于map/reduce,2.0中采用了新的架构yarn。进一步解决了单点问题。
    目前hadoop有2个开源版本,一个是Apache的版本,另一个是Cloudera在Apache的基础上进行优化的版本,也称为CDH3版。


参考文章

apache官方网站
http://hadoop.apache.org/
企业版hadoop官方
http://www.cloudera.com/hadoop/
hadoop基础介绍
http://zh.wikipedia.org/wiki/Apache_Hadoop
hadoop版本对比
http://blog.csdn.net/zhaobisha/article/details/6941841
论坛
http://bbs.chinaunix.net/thread-4063597-1-1.html
developerworks
https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop1/
https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/
https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop3/
hadoop资料-源码分析
http://liuxinglanyue.iteye.com/blog/853484
MapReduce的输入输出格式
http://blog.csdn.net/codestinity/article/details/7032158
hadoop精品资料
http://sishuok.com/forum/blogPost/list/5833.html
map/reduce详细介绍
http://blog.csdn.net/a221133/article/details/8605218
http://caibinbupt.iteye.com/blog/336467
namenode 与 secondarynamenode的区别和作用,配置方式
http://www.cnblogs.com/ggjucheng/archive/2012/04/18/2454692.html
部署注意事项
http://sishuok.com/forum/blogPost/list/5607.html
hadoop native library
http://www.cnblogs.com/gpcuster/archive/2011/02/17/1957042.html
压力测试工具
hbase:ycsb
map/reduce:terasort,http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/com.cloudera.hadoop/hadoop-examples/0.20.2-320/org/apache/hadoop/examples/terasort/TeraSort.java
性能优化
linux操作系统提高io性能noatime
http://www.itlearner.com/article/4922
hadoop平台优化概述
http://www.cnblogs.com/flyoung2008/articles/2282731.html
map/reduce数量参考文章
http://blog.sina.com.cn/s/blog_69d9bff301019wqw.html
http://hi.baidu.com/qimeishi/item/7bc1680220c7f968d45a11f7?qq-pf-to=pcqq.c2c
map/reduce参数优化
http://my.oschina.net/JJREN/blog/71314
hadoop源码分析
http://blog.csdn.net/luyee2010/article/details/8623124
hadoop互相ssh配置
http://blog.csdn.net/suileisl/article/details/10474545
Hadoop 新 MapReduce 框架 Yarn 详解
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/
新老版本配置对比
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/#_3.1_hadoop_0.23.0
hadoop balance
http://www.cnblogs.com/gpcuster/archive/2011/02/16/1956555.html
hadoop版本对比
http://www.cnblogs.com/xuxm2007/archive/2013/04/04/2999741.html

热点排行