首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

oozie CDH4和hadoop CDH4整合出现的有关问题(二)

2013-09-25 
oozie CDH4和hadoop CDH4整合出现的问题(二)hadoop版本:hadoop-2.0.0-cdh4.3.0oozie版本:oozie-3.3.2-cdh4

oozie CDH4和hadoop CDH4整合出现的问题(二)
hadoop版本:hadoop-2.0.0-cdh4.3.0
oozie版本:oozie-3.3.2-cdh4.3.0

在使用上述版本的hadoop和oozie进行开发时,启动hadoop后,NN节点上的进程有NameNode,ResourceManager,DN节点的进程有DataNode,NodeManager,hadoop启动正常,在上面执行自己写的M/R程序也没问题,但是当使用oozie提交M/R任务时候,报了以下一个异常:


通过上面的代码可以知道确实连接了HistoryServer,因此我通过命令
mr-jobhistory-daemon.sh start historyserver 把这个服务启动,这样在NN上会启动JobHistoryServer进程,这个进程的监听端口就是10020,本以为这样这个问题就能解决了,没想到在oozie的log日志里还是报上面的错,唯一可能的原因是oozie没有读取到 jobhistory的配置, 因此我把这个配置:
        <property>                <name>mapreduce.jobhistory.address</name>                <value>master:10020</value>        </property>

又在oozie/conf/hadoop-conf/core-site.xml文件中又添加了一遍,上述错误就消失了,job也能正常跑起来了。

ps: 我用的MR2,MR1在集成时不存在上述问题。

热点排行