如何解决伪分布无法启动datanode的问题
[问题描述]: 使用start-all.sh启动时, 无法启动datanode, 使用hadoop fs -put等命令报错
[问题分析]:
有两种情况
1. 使用root用户创建hadoop集群
使用root运行start-all.sh, hadoop会加上-jvm参数, 该参数根据java版本不同不一样, 这是导致错误的根源
观察 logs/hadoop-root-datanode-xxx.out 发现
Unrecognized option: -jvm
Could not create the Java virtual machine.
因此不建议使用root启动hadoop
2. 使用hadoop或其他用户创建集群
配置文件 hdfs-site.xml中的dfs.data.dir路径, 权限不对
正确的权限为: drwxr-xr-x(755)
完整的启动hadoop伪集群的方法:
1. 创建hadoop用户
useradd hadoop
passwd hadoop
2. 修改ssh无密码登陆(前提是ssh正常安装, 服务sshd启动)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
以hadoop身份登陆, 输入ssh localhost测试, 如果无需密码登陆则成功
如果不成功, 可以尝试彻底删除.ssh目录, 重新生成公钥
3. 在~/.bashrc文件中配置hadoop的环境变量
1. JAVA_HOME(必须, 也可以在conf/hadoop-env.sh中指定, 默认没有)
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre
2. HADOOP_HOME
export HADOOP_HOME=/home/hadoop/hadoop_home
3. HADOOP_VERSION
export HADOOP_VERSION=0.20.203.0
4. HADOOP_BIN
export HADOOP_BIN=$HADOOP_HOME/hadoop-$HADOOP_VERSION/bin
5. PATH
export PATH=$PATH:$HADOOP_BIN
4. 修改hadoop三大配置(配置文件默认在conf目录下)
1. core-site.xml(详细说明见http://hadoop.apache.org/common/docs/current/core-default.html)
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> <property> <name>mapred.local.dir</name> <value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/mapred/local</value> </property> <property> <name>mapred.system.dir</name> <value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/mapred/system</value> </property> </configuration>
