Hadoop安装有关问题处理备忘

Hadoop安装问题处理备忘

前几天在Window和Linux主机安装了Hadoop，版本是hadoop-0.21.0，出现了一些环境的问题，记录一下，做下备忘

?

1. cygwin启动Hadoop时候，总是报以下异常：

java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName

问题分析：出现该错误通常是找不到Main函数，而Hadoop是通过Shell脚本调用Java的Main类的

? ?解决方法：

a.修改conf/hadoop-env.sh的JAVA_HOME到本机的正确位置

export JAVA_HOME=/cygdrive/d/Soft/Java/jdk1.6.0_26

b.?将${HADOOP_HOME}/bin/hadoop-config.sh文件中的第190行的以下内容

?

1. JAVA_PLATFORM=`CLASSPATH=${CLASSPATH}?${JAVA}?-Xmx32m?${HADOOP_JAVA_PLATFORM_OPTS}?org.apache.hadoop.util.PlatformName?|?sed?-e?"s/?/_/g"`??

修改成以下的内容

1. JAVA_PLATFORM=`CLASSPATH=${CLASSPATH}?${JAVA}?-Xmx32m?-classpath?${HADOOP_COMMON_HOME}/hadoop-common-0.21.0.jar?org.apache.hadoop.util.PlatformName?|?sed?-e?"s/?/_/g"`??

?

2.bin/start-all.sh正常，输入bin/start-fds.sh出错，显示以下提示：Hadoop common not found。

? ?问题分析：出现该问题的原因是没有定义HADOOP_NAME

? ?处理方法：Linux中为在.bashrc文件中加入?export HADOOP_HOME=$HOME/hadoop-0.21.0

?

3、在操作HDFS的时候发现总是提示以下错误，而无法完成功能的操作：java.io.IOException: File /user/administrator/chen3/NOTICE.txt could only be replicated to 0 nodes, instead of 1

检查datanode日志，发现DateNode与NameNode的命名空间版本不匹配

2011-08-04 11:23:23,065 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-linzm/dfs/data: namenode namespaceID = 775148417; datanode namespaceID = 1771400337

? ?问题分析：看日志应该是DataNode的命名空间版本与NameNode不一致，重启后也是不能解决。

? ?处理方法：将/tmp/hadoop-linzm/dfs/data/current/VERSION文件中的namespaceID改为错误日志的提示版本

?

4、将jar放到hadoop中，并执行时候，报以下异常

?

1. [linzm@vm-360-149-11?test]$?hadoop?jar?wordcount/wordcount.jar?org.myorg.WordCount?wordcount/input?wordcount/outpu??
2. Exception?in?thread?"main"?java.io.IOException:?Error?opening?job?jar:?wordcount/wordcount.jar??
3. ????????at?org.apache.hadoop.util.RunJar.main(RunJar.java:130)??
4. Caused?by:?java.util.zip.ZipException:?error?in?opening?zip?file??
5. ????????at?java.util.zip.ZipFile.open(Native?Method)??
6. ????????at?java.util.zip.ZipFile.<init>(ZipFile.java:114)??
7. ????????at?java.util.jar.JarFile.<init>(JarFile.java:133)??
8. ????????at?java.util.jar.JarFile.<init>(JarFile.java:70)??
9. ????????at?org.apache.hadoop.util.RunJar.main(RunJar.java:128)??

?问题分析：通常出现这种情况有两种原因：jar报格式坏、文件路径不对。

处理方法：检查hadoop中文件的大小与本地是一致的，最后查明原因是jar包路径没有输入正确

?

5.官方例子中：http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

运行：bin/hadoop jar /usr/joe/wordcount.jar org.myorg.WordCount /usr/joe/wordcount/input /usr/joe/wordcount/output会抛异常

Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/linzm/wordcount/input already exists

? ? ? ? at org.apache.hadoop.mapred.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:125)

? ? ? ? at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:375)

? ? ? ? at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:334)

问题分析：事实上input目录是作为输入，是肯定要的，而Main类已经在jar报中定义了

处理方法：可以运行的结果命令如下hadoop jar wordcount.jar wordcount/input wordcount/output

?

6、最后是备忘，默认启动的时候NameNode与DataNode管理端口为：

NameNode：http://localhost:50070/，基本功能：列出当前cluster的DataNodes，cluster的基本信息，还可以浏览HDFS文件系统

JobTracker - http://localhost:50030/，基本功能：管理MapReduce

更多信息请查看?java进阶网?http://www.javady.com