hbase集群配置小结
整了一天HBase集群配置,终于可以运行,明天测试,今天做个小结。
?
1:需要配置SSH密钥
? ? ?master机: ?1):ssh-keygen -t rsa ?两个回车
? ? ? ? ? ? ? ? ? ? ? ? 2):cp id_rsa.pub authorized_keys
? ? ? ? ? ? ? ? ? ? ? ? 3):将authorized_keys 文件复制到各个slave(DataNode)机器
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?scp /home/Administrator/.ssh/authorized_keys 机器名:/home/Administrator/.ssh/
? ? ? ? ? ? ? ? ? ? ? ? 4):在所有机器执行用户权限命令chmod
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?chmod 644 authorized_keys
? ? ? ? ? ? ? ? ? ? ? ? 5):测试 ssh 机器名,查看能否登陆
? ? 注意:ssh localhost出现 closed by connection:1,需要在服务里点击属性,登陆,查找配置一个用户,重新启动即可。
?
2:1):host name配置
? ? ? ? ?cygwin下就是更改用户名,我的电脑那里
? ? ? ? ?linux下 ?vi /etc/hostname
? ? ? 2):往host中添加机器的hostname和IP。Master需要知道所有的slave的信息。对应的slave只需要知道Master和 ? ? ? ? ? ?自身的信息即可。
? ? ? ? ? ?vi /etc/hosts
? ? ? ? ? ?192.169.1.109 机器名
?
3: hadoop配置
?
? ? ? 1): 所有core-site.xml ? fs.default.name=> hdfs://master:9000
? ? ? 2):所有hdfs-site.xml ? ??dfs.permissions=>false,?dfs.replication=>1
? ? ? 3):所有mapred-site.xml ??mapred.job.tracker=>192.168.1.109:9001
? ? ? 4):masters添加master的IP, slaves添加slave的IP
?
4: 需要去掉hadoop的安全模式 ?./hadoop dsfadmin -safemode leave
?
最后查看?http://192.168.1.109:50030/jobtracker.jsp
?
?
4: HBase配置
? ? ?1): hbase-site.xml ?
?
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.master</name> <value>192.168.1.10:60000</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>192.168.1.9,192.168.1.17,192.168.1.18</value> </property> </configuration>?
hbase.zookeeper.quorum 的个数必须是奇数。
2): ?hbase-env.sh ?export HBASE_MANAGES_ZK=true
3): ?regionservers ?添加DataNode的IP
4): ?把 hadoop/下hadoop-core.jar代替原来的hbase/lib/下的hadoop-core-0.20-append-r1056497.jar
? ?(解决错误?org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)??)
注意 :每个机器的hadoop,hbase存放的目录要一致
最后http://192.168.1.10:60010/master.jsp
?