首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > Apache >

装配Apache Hadoop

2012-06-27 
安装Apache Hadoop1.系统(本人使用虚拟机):VMware-workstation-full-7.1.2-301548 ??????????????????????

安装Apache Hadoop

1.系统(本人使用虚拟机):VMware-workstation-full-7.1.2-301548

?????????????????????????????????? ubuntu-10.10-desktop-i386?

?? 软件包:?jdk-6u31-linux-i586.bin

?????????????? hadoop-0.20.205.0.tar.gz

2.JDK安装:

?? 1)将jdk-6u31-linux-i586.bin复制到安装目录,比如:/usr/java/

???2)cd /usr/java

?? 3)chmod 777 jdk-6u31-linux-i586.bin

?? 4)./jdk-6u31-linux-i586.bin

???5)设置JAVA_HOME,vi /etc/profile

???6)在profile文件中加入:JAVA_HOME=/usr/java/jdk1.6.0_31

??????? PATH=$JAVA_HOME/bin:$PATH

??????? export JAVA_HOME PATH
??????????? 装配Apache Hadoop
?

???7)保存/etc/profile并退出,source /etc/profile

???8)执行java -version
?????? 装配Apache Hadoop


?3.Hadoop安装

??? 1)将hadoop-0.20.205.0.tar.gz复制到安装目录,比如:/usr

??? 2)cd /usr

??? 3)tar zxf hadoop-0.20.205.0.tar.gz

??? 4)进入hadoop的conf目录

??? 5)vi hadoop-evn.sh,将JAVA_HOME设置为JDK安装目录


?????????? 装配Apache Hadoop

??? 6)设置HADOOP_INSTALL环境变量,vi /etc/profile

??? 7)在profile中加入:HADOOP_INSTALL=/usr/hadoop-0.20.205.0

??????? PATH=$JAVA_HOME/bin:$HADOOP_INSTALL/bin:$PATH

??????? export JAVA_HOME? HADOOP_INSTALL PATH
??????????? 装配Apache Hadoop

??? 8)保存profile文件并退出,source?/etc/profile

????9)执行hadoop version
装配Apache Hadoop

?

? 4.配置hadoop伪分布模式

???? 1)修改/config/core-site.xml

???????? <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost/</value> </property> </configuration>

?

??? 2)修改hdfs-site.xml

?

?

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

?

??? 3)修改mapred-site.xml

<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:8021</value> </property> </configuration>

?

??? 4)创建一个基于空口令的SSH密钥,以启动无密码登录

??????? ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

??????? cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

??? 5)测试步骤4)是否成功,ssh localhost,如成功则无需键入密码

??? 6)格式化HDFS文件系统,hadoop namenode -format

??? 7)启动进程

???????? start-dfs.sh

?????????start-mapred.sh

??? 8)查看启动是否成功

??????? a.查看logs目录下的日志文件

??????? b.通过web界面:http://localhost:50030/? (查看jobtracker)

?????????????????????????????http://localhost:50070/?(查看namenode)

??????? c.通过java的jps命令

??? 9)终止进程

???????? stop-dfs.sh

???????? stop-mapred.sh


?

?

热点排行