首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > 云计算 >

Ubuntu上筹建Hadoop环境(单机模式+伪分布模式)

2013-03-26 
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)Hadoop在处理海量数据分析方面具有独天优势。今天花了在自己

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Hadoop在处理海量数据分析方面具有独天优势。今天花了在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下。

首先,了解Hadoop的三种安装模式:

1. 单机模式. 单机模式是Hadoop的默认模。当配置文件为空时,Hadoop完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。

2. 伪分布模式. Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群。该模式在单机模式之上增加了代码调试功能,允许你检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。

3. 全分布模式. Hadoop守护进程运行在一个集群上。

参考资料:

1. Ubuntu11.10下安装Hadoop1.0.0(单机伪分布式)

2. 在Ubuntu上安装Hadoop

3. Ubuntu 12.04搭建hadoop单机版环境

4. Ubuntu下安装及配置单点hadoop

5. Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

6. Hadoop的快速入门之 Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)


本人极力推荐5和6,这两种教程从简到难,步骤详细,且有运行算例。下面我就将自己的安装过程大致回顾一下,为省时间,很多文字粘贴子参考资料5和6,再次感谢两位作者分享自己的安装经历。另外,下面的三篇文章可以从整体上把握Hadoop的结构,使你能够理解为什么要这么这么做。

7.分布式计算开源框架Hadoop介绍

8.Hadoop中的集群配置和使用技巧

9.Hadoop基本流程与应用开发


我的安装的是ubuntu12.o4, 用户名derek, 机器名称是derekUbn, Hadoop的版本Hadoop-1.1.2.tar.gz,闲话少说,步骤和每一步的图示如下:

一、在Ubuntu下创建hadoop用户组和用户

1.添加hadoop用户到系统用户

hadoop@derekUbun:/usr/local/hadoop$ bin/stop-all.sh

现在,开始Hadoop之旅,实现一些算法吧!


注记:


1. 在伪分布模式,可以通过hadoop dfs -ls 查看input里的内容

2. 在伪分布模式,可以通过hadoop dfs -rmr 查看input里的内容

3. 在伪分布模式,input和output都在hadoop dfs文件里



热点排行