hadoop 1.0.3增多snappy压缩

hadoop 1.0.3增加snappy压缩
转载请标明来源：http://blackwing.iteye.com/blog/1940933

基础环境是ubuntu 10.04 LTS，网上得知hadoop 1.0.3以后集成了snappy，所以相比安装lzo，简便一点。

预备条件：
1. 预先配好环境

sudo apt-get install autoconfsudo apt-get install automakesudo apt-get install libtool

2. 下载并安装snappy
1）下载地址

http://code.google.com/p/snappy/downloads/list

2）安装
解压后，直接运行：

./configuremakemake install

之后就安装在/usr/local/lib下

3. hadoop方面设置
1）在core-site.xml中增加一下配置：

<property>  <name>hadoop.native.lib</name>  <value>true</value></property>

2）在mapred-site.xml中，增加一下设置

<property>  <name>mapred.compress.map.output</name>  <value>true</value></property><property>  <name>mapred.map.output.compression.codec</name>  <value>org.apache.hadoop.io.compress.SnappyCodec</value></property>

表示通过snappy对map输出进行压缩

3）把/usr/local/lib下libsnappy*文件拷贝到 $HADOOP_HOME/lib/native/Linux-amd64-64/下

4）在hadoop-env.sh中设置：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

之后重启hadoop集群，运行MR程序就能看到已经能加载新的压缩codec。

查看更多 下一篇