首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 开源软件 >

hadoop施用随记2

2012-06-28 
hadoop使用随记2接随记1?1、将上节提到的修改hadoop 0.20.2/conf后的hadoop0.20.2上传到所有的集群服务器如

hadoop使用随记2

接随记1

?

1、将上节提到的修改hadoop 0.20.2/conf后的hadoop0.20.2上传到所有的集群服务器如中(注:尽量放在相同的目录下已便查看,如:都放在各自的/home/hadoop目录下)也可以先下载hadoop0.20.2.tar.gz,然后使用linux 的tar命令进行解压缩,然后将《随记1》中涉及的conf目录中的相应配置文件进行统一修改(各节点中)。

?

2、修改hadoop 0.20.2目录的访问权限,使得当前用户可以操作该目录,如果是root用户的话,启动时会有问题,如下:

[错误现象]

root@snda:/data/soft/hadoop-0.20.2# bin/hadoop fs -put conf input
11/08/03 09:58:33 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/input/slaves could only be replicated to 0 nodes, instead of 1
?

[原因]

启动hadoop的datanode的时候出现过这个错误


root@snda:/data/soft/hadoop-0.20.203.0# ./bin/hadoop-daemon.sh start datanode
starting datanode, logging to /data/soft/hadoop-0.20.203.0/bin/../logs/hadoop-root-datanode-snda.out
Unrecognized option: -jvm
Could not create the Java virtual machine.


[解决]

仔细找一下,-jvm这个参数是在 bin/hadoop里出现

? CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'
? if [[ $EUID -eq 0 ]]; then
??? HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"
? else
??? HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
? fi

这里的脚本里说明,如果是EUID = 0,也就是说用root用户执行,就执行带 -jvm的这一句,否则就执行带-server的这一句。


至于为什么-jvm会说不识别,不太清楚,但是可以解决:

1) 修改脚本,把-jvm参数改成-server

2)用一个非root的账户运行,就可以啦。

? ? ?用非root账户执行确定没问题,修改脚本的办法不确定是不是会引起其它问题。

热点排行