云计算实战 （海量日志管理）hive -- hive + hiveclient (hive 客户端)
?? ? ?五个节点的hadoop服务器集群搭建完成后，得想办法提高开发效率，mapreduce 我不是高手，写起来有点麻烦，公司业务不等人，还是决定上hive。
?? ? ?话说想玩好hadoop 还得学精mapreduce ，或许我把这个任务往后放放。
?? ? ?废话不多说，接下来介绍下hive 的安装和实际应用。
?? ? ?hive 安装：
?? ? ?本人hadoop 用的就是cloudera 的release 当然hive 也不例外。
?? ? ?所以安装很简单：
?? ? ?Debian 上安装：
?
$ sudo apt-get install hadoop-hive??
?
?? ?redhat/centos 上安装：
?
$ sudo yum install hadoop-hive
?
?? ?启动hive 控制台：
?
?
$ hivehive>
okay，可以使用hive 了 ?你可以参照hive 的wiki 里的介绍（很全面）玩一玩hive 的操作
http://wiki.apache.org/hadoop/Hive
玩了会儿了，该干正事了。
hive 默认带的是derby 数据库来存放创建的表信息（只存放表结构，内容放到hdfs里）
derby毕竟是嵌入式数据库，作正式应用不安全。幸好hive支持mysql，于是安装mysql
我用的是centos 安装自然很简单：
?
yum install mysql-server
?
?启动mysql：
??/etc/init.d/mysqld start
?
?为hadoop/hive 创建mysql用户：
?
mysqlmysql> CREATE USER 'hadoop'@'centos1' IDENTIFIED BY 'hadoop';mysql> GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'centos1' WITH GRANT OPTION;mysql> exit
??测试是否成功：
?
?
su - hadoop
mysql -h centos1 -u hadoop -p
?
??okay 现在我们成功安装了hive 下面我们修改hive 的配置让hive使用mysql ???如果你用的cloudera 的话：?okay, 现在启动 hive：
$hive
?
用的就是mysql 数据库存放表结构了。?
你会惊奇地发现之前玩的那些表都没了，就让它们长眠在derby里吧！
?
集群搭建完毕，于是乎实际应用来了。
由于scribe 用的时间不长，产生的日志量还少，我们需要对过去三个月的cookie访问数据进行一个分析。
怎么办？ 写个java程序吧数据库里的数据导进来（scribe之前 ，还是吧所有日志写到数据库中的，可想而知查询得多慢）
导出了15G的数据（3各月cookie访问记录）
下面就有个不能满足的需求了：要求把分析结果放回到mysql 数据库中方便管理人员查看
你懂的， linux控制台操作的hive 是不可能把结果数据放进mysql的（就我的能力而言。）?只能打印到控制台或者写入文件
?
于是乎想到了hive 是有jdbc 客户端的
?
首先启动hive server：
?
hive --service hiveserver 50031（端口号）
好了服务启动了，等待客户端连接并执行客户端代码。
?
hive 支持多种客户端，jdbc odbc php python 等等 想了解的可以去wiki 看看。
?
?
okay 用eclipse 写hive 吧~ ?这回熟悉了吧
在eclipse 中创建一个新的javaproject?
把hive/lib 下的所有jar copy到项目的lib目录下 另外再加一个mysql-connector-5.*.*.jar 用来把数据写入mysql
废话不说 ，贴代码：
?
package com.hive;import java.sql.SQLException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.Statement;import java.sql.DriverManager;public class HiveJdbcClient {private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";/** * @param args * @throws SQLException */public static void main(String[] args) throws SQLException {try {Class.forName(driverName);} catch (ClassNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();System.exit(1);}Connection con = DriverManager.getConnection("jdbc:hive://192.168.3.201:50031/defalt", "hadoop","masterninja");Statement stmt = con.createStatement();ResultSet res = stmt.executeQuery("select cookie_id ,COUNT(cookie_id)count from cookie_info where uid=5779665 group by cookie_id ORDER BY count DESC limit 20");while (res.next()) {System.out.println(res.getString(1) +" "+ res.getInt(2));}}}?我这里只是把结果集打印出来了 ?没有写入mysql （贴的只是测试代码）
写好后运行就成。如果您公司的服务器与外网是隔离的（我们公司就是）
就把程序打个jar 上传到服务器集群中的一台上（起码能访问到hiveserver 的）
运行java -jar XXX.jar
你会发现hive server 的那台机器开始在linux控制台打印了...
成功~
?
若有疑问欢迎交流。
?
1 楼 z_post 2010-12-14 很好。我用的是postgres。但"org.apache.hadoop.hive.jdbc.HiveDriver"总是配不好。