Hadoop DataNode启动失败
DataNode启动失败:
2012-12-14 00:48:19,242 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/hadoop/hadoop-1.0.4/data, expected: rwxr-xr-x, while actual: rwxrwxrwx
2012-12-14 00:48:19,242 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2012-12-14 00:48:19,242 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2012-12-14 00:48:19,301 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:?
?
进行分组统计的时候一直报错,Hadoop的Datanode不存在。
?
通过分析启动日志后发现fs.data.dir参数设置的目录权限必需为755,要不启动datanode节点启动就会因为权限检测错误而自动关闭。
?
我之前一直设置成chmod 777 不行,要chmod 755就可以了。。这个要在Linux的文件权限那里设置。
?
$ chmod 755 -R??/usr/hadoop/hadoop-1.0.4/data?
?
OK