hadoop环境配置——(单机版)
?
1.所需的环境
ubuntu系统
2.所需要的软件包
ubuntu系统安装包
JDK安装包(这里以jdk-6u30-linux-i586为例)
hadoop-0.20.203.0包(下载地址:http://apache.etoak.com//hadoop/core/hadoop-0.20.203.0/)
eclipse安装包
3.配置环境的步骤
3.1安装Ubuntu
安装Ubuntu这里就不说了,其实很简单和安装一般的软件没多大区别
3.2安装配置jdk
(1)在 /usr/local 下建立 java 文件夹
命令:sudo mkdir /usr/local/java
(2)将自己的jdk软件包拷贝到刚才建立的java文件夹下
命令:sudo cp jdk的路径 /usr/local/java
(3)在java文件夹下安装JDK
切换到java目录;
命令: cd ?/usr/local/java;
(4)给文件权限
命令:sudo chmod u+x jdk-6u30-linux-i586.bin
(5)安装jdk-6u30-linux-i586.bin
命令:sudo ./jdk-6u30-linux-i586.bin
(6)配置jdk环境
命令:sudo gedit /etc/profile
在配置文件尾添加如下代码
#set java environment
export JAVA_HOME=/ usr/local/java/jdk1.6.0_30
export JRE_HOME=/ usr/local/java/jdk1.6.0_30 /jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
(7)测试JDK是否安装成功
命令:java -version
java version "1.6.0_23"
Java(TM) SE Runtime Environment (build 1.6.0_23-b05)
Java HotSpot(TM) Server VM (build 19.0-b09, mixed mode)
3.3安装配置ssh
(1)安装openssh_server
命令:sudo apt-get install openssh-server
(2)创建ssh-key,为rsa
命令:ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
(3)验证配置成功与否
命令:ssh localhost
?Welcome to Ubuntu 11.10 (GNU/Linux 3.0.0-14-generic i686)
?* Documentation: ?https://help.ubuntu.com/
108 packages can be updated.38 updates are security updates.
Last login: Sun Feb ?5 10:45:19 2012 from localhost
3.4安装配置hadoop
(1)将hadoop压缩文件复制到local文件目录下;
命令:cp hadoop路径 /usr/local
(2)解压hadoop文件;
命令:sudo tar -xzf hadoop-0.20.203.0rc1.tar
(3)将解压后的文件夹更名为hadoop
s命令:sudo ?mv ?hadoop-0.20.203.0 hadoop
(4)建立hadoop用户组(建立一个名为hadoop的用户组和hadoop用户)
命令:sudo addgroup hadoop
(5)建立hadoop用户并归到hadoop用户组下
命令:sudo adduser -ingroup hadoop hadoop
(6)给hadoop权限
打开sudoers文件
命令:sudo gedit /etc/sudoers;
在root ALL =(ALL) ALL 下面添加如下代码;
hadoop ?ALL =(ALL) ALL;
4.配置hadoop
(1)打开conf/hadoop-env.sh
命令:cd /usr/local/hadoop
sudo gedit conf/hadoop-env.sh
配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本机jdk的路径),如图15
(2)打开conf/core-site.xml
命令:cd /usr/local/hadoop
sudo gedit conf/core-site.xml
配置,如下内容:
? ? <configuration> ?
? ? ?<property> ?
? ? ? <name>fs.default.name</name> ?
? ? ? <value>hdfs://localhost:9000</value> ??
? ? ?</property> ?
? ? ?<property> ?
? ? ? <name>dfs.replication</name> ??
? ? ? <value>1</value> ??
? ? ?</property> ?
? ? ?<property> ?
? ? ? <name>hadoop.tmp.dir</name> ?
? ? ? <value>/home/hadoop/tmp</value> ??
? ? ?</property> ?
? ? </configuration> ?
(3)打开conf目录下的mapred-site.xml
命令:cd /usr/local/hadoop
sudo gedit conf/mapred-site.xml
配置如下内容:
? ? <configuration> ?
? ? ?<property> ??
? ? ? <name>mapred.job.tracker</name> ?
? ? ? <value>localhost:9001</value> ??
? ? ?</property> ?
? ? </configuration> ?
5.hadoop测试
(1)改变用户,格式化namenode
命令:cd /usr/local/hadoop
./bin/hadoop hadoop namenode -format
(2)启动hadoop
命令:sudo chown -r /usr/local/hadoop
./bin start-all.sh
(3)测试是否启动成功
命令:jps命令
如果同时打印出:NameNode,JobTracker,SecondaryNameNode,jps,tasktracker,DataNode则表示安装成功;hadoop是否成功启动
(4)运行自带wordcount例子
首先准备两个本地文档;
sudo gedit /testin/test1.txt
sudo gedit /testin/test2.txt
写点单词
在hdfs中新建目录
./bin/hadoop dfs -mkdir test-in?
上传本地文件到hdfs中指定的目录;
./bin/hadoop copyFromLocal /tmp/test*.txt test-in
运行wordcount;
./bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount file-in file-out
查看运行结果
./bin/hadoop dfs -cat file-out/part-r-00000
linux系统(这里以ubuntu11.10为例)