总算在window下运行起来了hadoop小记
首先安装JDK 直接安装到C盘符下就行了
?
然后安装cygwin,在选择openssl,openssh
准备在elipse下编译的 还需要安装“BaseCategory”下的“GUN SED“
建议还安装
还建议将“EditorsCategory”下的vim安装,以方便在Cygwin上直接修改配置文件;“DevelCategory”下的subversion建议安装,
?
然后把JDK和cygwin安装路径配置环境变量
需要配置的环境变量包括PATH和JAVA_HOME:JAVA_HOME指向安装目录,Cygwin的bin目录,以及Cygwin的usr\bin目录都必须添加到PATH环境变量中
?
我的用的是hadoop-0.20.1下面是下载的?
http://dl.dbank.com/c0b3kwezsa
?
点击桌面上的
Cygwin
图标,启动
Cygwin
,执行
ssh-host-config
命令
点击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config命令 查看是否SSH 执行成功
再查看我的电脑---服务----启动CYGWIN sshd服务
?
在执行ssh-keygen命令生成密钥文件
然后在进入 Cygwin/home/用户文件夹/?
执行ls -a 命令 会看到一个隐藏的.ssh 文件夹 没有自己创建
再执行cp id_rsa.pub authorized_keys
再执行ssh localhost? 然后输入yes即可
失败可以把该文件删除 重新来一次
?
然后把下载下来的hadoop 解压到c:/hadoop/run 目录下
把conf 下的hadoop-env.sh #JAVA_HOME? 地#号去掉 填上自己的JDK安装目录
ssh-keygen
列如我的 export JAVA_HOME=/cygdrive/c/Java/jdk1.6.0_23? 前面cygdrive这个必须写。不知道的可以在cygwin 下执行 cd $JAVA_HOME 查看当前路径
?
ore-site.xml
、
hdfs-site.xml
和
mapred-site.xm
再修改里面的core-site.xml、hdfs-site.xml和mapred-site.xml
查找自己安装hadoop下面的src文件夹
core目录下的core-default.xml文件复制到conf目录下,并将core-default.xml文件名改成core-site.xml。修改fs.default.name的值,端口自己定义只要没暂用即可我定义的是localhost:10001
hdfs目录下的hdfs-default.xml文件复制到conf目录下,并将hdfs-default.xml文件名改成hdfs-site.xml。不需要再做其它修改
mapred目录下的mapred-default.xml文件复制到D:\hadoop\run\conf目录下,并将mapred-default.xml文件名改成mapred-site.xml。修改mapred.job.tracker的值端口自己定义没用即可 我定义的是localhost:10002
?
?
在回头到自己安装的hadoop/bin下面
格式化文件节点
执行./hadoop namenode -format
在执行./start-all.sh
如果失败 可以执行./stop-all.sh
再把上面的重复一次
?
?
成功了可以执行下面
http://192.168.1.113:50070/dfshealth.jsp
?
http://192.168.1.113:50030/jobtracker.jsp?
?
?
-----------暂记