首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > 云计算 >

实时系统HBase读写优化-大量写下无障碍

2013-03-13 
实时系统HBase读写优化--大量写入无障碍在使用hbase过程中发现在写入hbase的数据量很大时,经常发生写不进

实时系统HBase读写优化--大量写入无障碍

在使用hbase过程中发现在写入hbase的数据量很大时,经常发生写不进去的情况。而我们基于hbase的应用是对实时性要求很高的,一旦hbase不能读写则会大大影响系统的使用。下面将记录hbase写优化的过程。


1.禁止Major Compaction

在hbase进行Major Compaction时,该region将合并所有的storefile,因此整个region都不可读,所有对此region的查询都会block。HBase默认一天左右执行一次Major Compaction。我们将Major Compaction禁掉并用Cron脚本每天在系统空闲时对所有表执行major compaction。


Major Compaction的配置:

<property><name>hbase.hstore.blockingStoreFiles</name><value>2100000000</value></property>




热点排行