首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > 云计算 >

原创抢鲜课程:快用Cloudera SCM Express管理你的hadoop集群吧

2012-06-30 
原创抢鲜教程:快用Cloudera SCM Express管理你的hadoop集群吧Cloudera SCM Express简介:Cloudera是一家专

原创抢鲜教程:快用Cloudera SCM Express管理你的hadoop集群吧
Cloudera SCM Express简介:

Cloudera是一家专业从事基于Apache Hadoop的数据管理软件销售和服务的公司,该公司最近发布了Cloudera SCM Express,该软件让任何人都能快速、轻松地安装和配置基于Apache Hadoop的完整堆栈。

Cloudera SCM Express能帮助部署,配置和管理一系列的Apache Hadoop服务,并允许所有人去开发和集中管理一个超过50个节点的完整的Apache Hadoop集群。这款免费软件支持自动安装和配置,将部署时间从数周减少到几分钟,并提供群集范围的,实时的对节点和服务的监控。

?

下载

https://ccp.cloudera.com/display/SUPPORT/Downloads

?

下载文件完成后,你会得到一个名为“scm-installer.bin”的文件。

?

安装

系统要求(必须是64为操作系统):?

Red Hat Enterprise Linux 5??,Linux 6?、CentOS 5

SUSE Linux Enterprise Server 11

?

安装命令:

chmod u+x scm-installer.bin

sudo ./scm-installer.bin

?

这时将打开安装图形界面,会联网安装JDK(如果没有安装的话),?SCM Server、PostgreSQL数据库

安装过程结束后,打开浏览器,开始在线安装、管理Hadoop了,用户名密码,默认为:admin/admin

?

原创抢鲜课程:快用Cloudera SCM Express管理你的hadoop集群吧

?

后面几个页面会要求输出管理机器列表、机器用户名密码等,我就略过了,大家可以在最下面的官方参考URL里查看。

?

我遇到的问题:

?

    下载软件包的时候总是因为timeout而失败,解决办法:在server上多添加几个DNS IP在启动SCM Agent 的时候失败,原因是我机器多IP导致的,解决办法:在/etc/hosts里面设置好机器名与IP对应关系就OK了。这个问题花了好大功夫才解决,在官方的user group里面有类似情况,帖子地址为:https://groups.google.com/a/cloudera.org/group/scm-users/browse_thread/thread/a72d2452cb307d6c

?

安装完软件是下面的图片(官方摘录),虽然过程比较慢,但这感觉太爽了。


原创抢鲜课程:快用Cloudera SCM Express管理你的hadoop集群吧

?

?

9.9日遇到在选择Servive后报空指针错误,之后我还和cloudera工程师沟通,他们怀疑是磁盘不一致导致的,然后他们就放周末了,我等不及了,研究了下这个项目,项目的安装路径在“/usr/share/cmf/”,项目的class被打包到lib里面的jar包,仔细查看发现“server-3.6.1.1.jar”这个是我需要的类(页面上报相关类空指针),反编译后,反复调试找到问题行,取了个巧跳过了问题,终于继续前进了,不过cloudera的工程师还是很敬业的,回复很快,不过我们不是一个时区。。。。另外:hadoop被安装到了“/usr/lib/hadoop-0.20”

?

其它几步我安装很顺利,9.11当天终于全部配置成功,而且看到了大名鼎鼎的HUE,给大家看看图片:

?


原创抢鲜课程:快用Cloudera SCM Express管理你的hadoop集群吧


原创抢鲜课程:快用Cloudera SCM Express管理你的hadoop集群吧
?
原创抢鲜课程:快用Cloudera SCM Express管理你的hadoop集群吧

?

下周需要做一个hadop项目,就用它做管理了,太棒了。

?

-- 未完 --

?

1 楼 supermy 2011-09-22   ok 3xs 2 楼 startandornot 2012-01-20   请问 Cloudera Manager 在重新启动系统后怎么这个服务启动起来?

也就是  访问 http://localhost:7180 的管理界面

热点排行