HBase表增多snappy压缩

HBase表增加snappy压缩
转载请标明来源：http://blackwing.iteye.com/blog/1942037

此前使用的是LZO，近期想着试试snappy的实力，snappy的安装可以参考另外一篇文章：http://blackwing.iteye.com/blog/1940933

HBase添加snappy压缩步骤如下：
1. 验证snappy是否正常安装：
找某个文件，对其进行压缩测试

hbase org.apache.hadoop.hbase.util.CompressionTest   hbase-hadoop-regionserver.log snappy

如果正确安装snappy则会显示SUCCESS字眼

2. 为表增加snappy压缩
1) 先disable该表
2) 修改表定义

alter 'mytable',{NAME=>'cf1',COMPRESSION => 'snappy'}

3) enable 'mytable'

表中此前的数据，还没有压缩，如果要让整个表的数据都压缩，需要对表进行major compact：

major_compact 'mytable'

之后打开该表所在某个rs的web界面，在Region Name找到表所在行，看Metrics中的：

storefileUncompressedSizeMB=160, storefileSizeMB=66, compressionRatio=0.4125

就可以看得，压缩前后容量以及压缩比。

如果enable表时卡死，可以强行退出后，根据这篇文章处理：http://blackwing.iteye.com/blog/1914841

查看更多 下一篇