用maven的ant run插件自动部署MR job依赖的jar到HDFS
背景
远程提交MR job时将MR job依赖的所有jar都发布到HDFS中,同时将这些jar加到hadoop job的classpath上。
如果每次手动上传就太费劲。项目集成maven。所以打算在maven package时将所有jar通过脚本上传到远程HDFS上
?
?
?
编写ant脚本
使用了,haddop的ant 插件。说白了就是一些util方法,调用了fsshell。没有文档,写的时候需要参考plugin的源代码。呵呵。
关键:
?
?
cmd:命令,参考hadoop fs
args:参数,逗号分隔
conf:core-site.xml的所在的文件目录
?
?
build.xml
?
?
?
build.properties.xml
?
?
?
build.properties
?
??
?
?
运行:
执行maven install,看到所有jar都发布到了hdfs上。hoho。
?
?