windows+eclipse运行Hadoop Job
? ? ? ? 最近学习Hadoop，遇到一个问题，在eclipse中写完MapReduce之后如何在Hadoop中运行呢，常见的做法是将程序打成一个Jar包，然后传到hadoop集群中，通过命令行$HADOOP_HOME/bin/hadoop jar命令来运行，但是每次都要这样，十分麻烦。
? ? ? ? 当然，也可以在eclipse中安装hadoop的插件，可以方便的run on hadoop来运行。但是我们可以看到，client端的代码常见形式是在main方法中创建Configuration对象和job对象，具体代码如下
Configuration conf = new Configuration();String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();if(otherArgs.length!=2){System.err.println("Usage: wordcount <in> <out>");System.exit(2);}Job job = new Job(conf,"combiner_test_job");job.setJarByClass(CombinerTest.class);job.setMapperClass(CombinerTestMapper.class);job.setReducerClass(CombinerTestReducer.class);job.setCombinerClass(CombinerTestReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job, new Path(otherArgs[0]));FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);，既然有main方法，我们能不能作为普通的java application来运行呢？试过之后我们很有可能会得到一个IOException，?
这个问题在我的另一篇blog中有说明，想进一步了解的点这里。解决了这个问题之后，应该就可以运行啦，好像这样问题就解决啦。但是，如果深入分析为什么为得到这个错误，我们会发现之前成功的运行job其实是在本机中运行的，也就是hadoop的local模式，job并没有在集群中的hadoop上运行，充其量也只是使用了一下HDFS。因为我们没有设置mapred.job.tracker，默认就是local。待我们将该属性设置为集群对应的值后，再运行，我们会发现，还是有错误。这次应该会得到一个ClassNotFoundException，其实是Mapper或者Reducer的类找不到。
? ? ? ? 为什么会找不到类呢？带着这个疑问，在网上查找一番，终于有所收获，大家可以看一下这篇文章，挺不错的，按照作者的分析，问题出在setJarByClass这个方法里面，其实最终调用的是JobConf类中的setJarByClass方法，该方法代码如下
public void setJarByClass(Class cls) { String jar = findContainingJar(cls); if (jar != null) { setJar(jar); } }?首先，该方法会通过参数中的class查找对应的Jar文件，在命令行运行的情况下，是可以找到的，因为我们是将程序打好jar包之后调用hadoop jar来执行的，但是默认情况下，该jar肯定是不存在的，这样，就不会调用下面的setJar方法，所以程序中使用到的class就找不到了。知道了原因，我们只要将包含Mapper和Reducer以及其他类的Jar包通过setJar方法设置一下，就可以啦。
? ? ? ? 但是默认情况下，jar包是不存在的，我们可以在程序中通过代码实现将class打jar包，然后再进行设置。这里参考网上的资料，写了一个JarUtil类
package com.shidan.hadoop.util;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.util.jar.JarEntry;import java.util.jar.JarOutputStream;public class JarUtil{public static void jar(String inputFileName, String outputFileName){JarOutputStream out = null;try{out = new JarOutputStream(new FileOutputStream(outputFileName)); File f = new File(inputFileName); jar(out, f, "");}catch (Exception e){e.printStackTrace();}finally{try {out.close();} catch (IOException e) {e.printStackTrace();} } }private static void jar(JarOutputStream out, File f, String base) throws Exception { if (f.isDirectory()) { File[] fl = f.listFiles(); base = base.length() == 0 ? "" : base + "/"; // 注意，这里用左斜杠 for (int i = 0; i < fl.length; i++) { jar(out, fl[ i], base + fl[ i].getName()); } } else { out.putNextEntry(new JarEntry(base)); FileInputStream in = new FileInputStream(f); byte[] buffer = new byte[1024]; int n = in.read(buffer); while (n != -1) { out.write(buffer, 0, n); n = in.read(buffer); } in.close(); } } }该类可以将指定的目录下的文件jar成一个jar包，所以我们只需要将class文件所在的目录作为inputFileName传递给jar方法，并指定输出的jar包的名称作为outputFileName。具体使用参考下面的代码
JarUtil.jar(CombinerTest.class.getClassLoader().getResource("").getFile(), "CombinerTest.jar");System.out.println(new File("CombinerTest.jar").getAbsolutePath());Configuration conf = new Configuration();String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();if(otherArgs.length!=2){System.err.println("Usage: wordcount <in> <out>");System.exit(2);}conf.set("mapred.job.tracker", "192.168.15.130:9001");Job job = new Job(conf,"combiner_test_job");job.setJarByClass(CombinerTest.class);((JobConf)job.getConfiguration()).setJar("CombinerTest.jar");job.setMapperClass(CombinerTestMapper.class);上面的CombinerTest类其实就是这段代码所在的类，192.168.15.130:9001是hadoop集群的jobtracker。需要注意的是，setJar方法是JobConf中的才有的，需要将Configuration类强制转换为JobConf后才能调用。经过这样的一番操作后，就可以直接运行main方法，Job就会在你所指定的hadoop集群中运行啦。
?
? ? ? ? 另外，我在之前的一片文章中解决?
这个问题的后，还对run on hadoop 和run as application运行job的区别有所疑问。其实，hadoop插件会将项目中的类和资源文件自动打包，这样就可以直接run on hadoop运行啦，其实做的工作就相当于我们上面写的代码。