easyhadoop初识以及各种有关问题

easyhadoop初识以及各种问题

版本：easyhadoop 1.2.1,操作系统：Centos 6.4；

首先，我要说的是要用对版本，这点很重要。我使用ubuntu12.04 64bit 的虚拟机是不行的，安装直接报错。所以就下载了centos的iso，好像最新的比较好找，所以就下载了6.4的。下面就一步一步来看我的安装吧：

1.首先vmware虚拟机安装centos6.4，选择nat网络连接方式。安装完成后，修改ip，固定ip，修改机器名，然后重启。具体修改如下（全部使用root账号）：

1.1 修改/etc/sysconfig/network-scripts/ifcfg-eth0，我的是如下：

刚开始是没有红色方框里面的记录的，（我设置好了才有的）。然后来一步一步进行设置：
（1）点击nodes，然后看到左上角有创建节点和创建多个节点，点击创建节点出现下面的界面：

按照上面进行设置，点击save，进行保存。这里可能会出现下面的错误：

（这里的ip不对，这个是我之前创建的虚拟机上跑出现的错误，不必纠结这个问题）当出现上面的错误时，应该是ssh没有配置好，查看/etc/init.d/sshd status 状态，配置完成即可。
点击下图红色框：

可以看到下面的提示，如果没有提示，说明前面的步骤出错：

选择第一个，然后save即可。
（2）选择Install选项卡，然后点击Install，在弹出的框中点击Install，然后会出现相应的文件被安装，在最后的提示中会有Hadoop Installed（英语语法来说的话installed是完成时）；
（3）点击Settings选项卡，选择hadoop。然后点击左边的Templates（模板）选项，导入四个文件，如下：

然后需要修改相应的文件内容，修改直接点击Edit即可。core-site.xml 基本不用修改，hadoop-env.sh加上
export JAVA_HOME=/usr/java/default
java默认的安装目录就是上面的。hdfs-site.xml中的dfs.replication变量值设置为1，mapred-site.xml中不需要修改。然后点击push node settings即可：

然后，如果你出现了下面的错误：

到了这里后，首先要使用mapred用户进行namenode的格式化，root用户直接 su mapred，然后直接 hadoop namenode -format即可。
然后点击namenode的startnamenode，没用，其他的也是一样，都启动不了进程。使用mapred用户启动namenode试试，start-dfs.sh ，出现Permission Denied，好吧我看看权限原来这些start*、stop*文件都在 /usr/sbin/里面，且都是root的权限，而且不能执行，好吧，加上执行权限，然后使用root启动，直接./start-all.sh吧，然后启动namenode、jobtracker的时候没有让我输入密码，但是其他三个进程就要我输入密码，这是怎么回事？难道是前面有什么没有设置到的么？奇了个怪了。哎，不管那么多了，看下集群起来没，然后50030、50070，恩 ok了，都起来了。而且在监控里面，这个图超靓：

这样就暂时搞定easyhadoop了。
这里存在两个问题：
其一：ssh要密码登陆问题，应该是前面没有设置好，还是什么的，但是有些进程需要密码，有些又不需要，这个很奇怪；
其二：在下面的servie中的namenode界面中log信息看不到，看到出错的信息：

不过最重要的应该是那个密码问题吧，如果每个节点启动还要输入密码，那还要什么easyhadoop呀，而且肯定应该不是要用代码启动的，肯定是要用界面中的那个按钮启动的。

分享，成长，快乐
转载请注明blog地址：http://blog.csdn.net/fansy1990