Shark简介、部署及编译小结
Shark简介
Shark即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。
Shark速度快的原因除了Spark平台提供的基于内存迭代计算外，在设计上还存在对Spark上进行了一定的改造，主要有
- partial DAG execution：对join优化，调节并行粒度，因为Spark本身的宽依赖和窄依赖会影响并行计算和速度
- 基于列的压缩和存储：把HQL表数据按列存，每列是一个array，存在JVM上，避免了JVM GC低效，而压缩和解压相关的技术是Yahoo!提供的
其他特性和设计要点请参看论文Shark: SQL and Rich Analytics at scale
总结来说，Shark是一个插件式的东西，在我现有的Spark和Hive及hadoop-client之间，在这两套都可用的情况下，Shark只要获取Hive的配置（还有metastore和exec等关键包），Spark的路径，Shark就能利用Hive和Spark，把HQL解析成RDD的转换，把数据取到Spark上运算和分析。在SQL on Hadoop这块，Shark有别于Impala，Stringer，而这些系统各有自己的设计思路，相对于对MR进行优化和改进的思路，Shark的思路更加简单明了些。
Shark部署
Shark Wiki上发布了两个主要版本，shark-0.7.0-hadoop1-bin.tgz和shark-0.7.0-hadoop2-bin.tgz。shark-0.7.0-hadoop1-bin.tgz适用于CDH3，shark-0.7.0-hadoop2-bin.tgz适用于CDH4，他们都使用hive-0.9.0进行了编译，使用的Spark是0.7.2的。相对来说，hive的版本比较老，想要支持0.11.0这样更新的版本的话需要自己重新编译Shark。在github上，现在Shark的master分支已经开始支持未发布的Spark0.8版本，编译注意的地方会在下一节讲。
Shark的部署参看https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster和https://github.com/amplab/shark/wiki/Running-Shark-Locally。首先要选择适合自己Hadoop集群版本的shark-0.7.0-hadoopX-bin.tgz。
解压出来的hive-0.9.0配置在shark-env.sh的HIVE_HOME，同时还可以额外指定HIVE_CONF的目录，一般就指定自己已有的可以连接hadoop的hive conf目录。其余的SPARK_MEM, SPARK_HOME, SCALA_HOME就不说了。
用bin/shark-withinfo启动shark，可以看到INFO信息，shark首先启动自己的CLI，然后会启动Hive，再启动Spark，之后就可以用HQL测试Shark可用与否。
在配置好各个HOME后，如果跑在common hadoop上，当你进行select这样和HDFS数据打交道的操作时，会报如下的版本错误，
git clone https://github.com/amplab/shark.git -b branch-0.7 shark-0.7
除了指定下SCALA_HOME和HIVE_HOME外，最好再指定下SPARK_HOME。最后sbt/sbt package，利用sbt进行打包，需要蛮长的时间。
我尝试了依赖公司的hive包编译，失败了，报了77个error，原因是Shark的源码里很多依赖于hive的接口，有些有，有些没有，所以我又尝试了依赖hive-0.9.0的包编译，成功了，没有报错。虽然我想尝试编译适合自己公司集群的shark失败了，但是我还是完成了这条路的探索。目前我如果想使用Shark的话，只能自己部一套CDH的hadoop和hive了。哎。
（全文完）
