首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

用maven的ant run插件自动支配MR job依赖的jar到HDFS

2012-10-18 
用maven的ant run插件自动部署MR job依赖的jar到HDFS背景远程提交MR job时将MR job依赖的所有jar都发布到H

用maven的ant run插件自动部署MR job依赖的jar到HDFS

背景

远程提交MR job时将MR job依赖的所有jar都发布到HDFS中,同时将这些jar加到hadoop job的classpath上。

如果每次手动上传就太费劲。项目集成maven。所以打算在maven package时将所有jar通过脚本上传到远程HDFS上

?

?

?

编写ant脚本

使用了,haddop的ant 插件。说白了就是一些util方法,调用了fsshell。没有文档,写的时候需要参考plugin的源代码。呵呵。

关键:

?

?

cmd:命令,参考hadoop fs

args:参数,逗号分隔

conf:core-site.xml的所在的文件目录

?

?

build.xml

?

?

?

build.properties.xml

?

?

?

build.properties

?

?

?

?

?

运行:

执行maven install,看到所有jar都发布到了hdfs上。hoho。

?


用maven的ant run插件自动支配MR job依赖的jar到HDFS

?

热点排行