远程分布式持久化队列服务MemcacheQ安装笔记
??? 由于公司的需求，想通过memcached 实现一个基于memcached 的分布式queue。不过基于稳定性和开发时间的关系还是想用现有的开源项目.
??? 昨天试验了一下,twitter的一个分布式队列服务starling,感觉速度很快,效果不错.但是看看了一下发现没有持久化的相关参数设置(参数还不熟),如果服务或者机器重启以后数据就丢失了.这对一些敏感的数据不是很适用.
[参考:http://ooft.iteye.com/blog/495158]?
?
??? 今天试一下memcacheQ,它是memcachedb的一个变种,它基于Berkeley的文件存储的,应该是一种持久化的队列.
?
1.安装linux开发工具包
(1)在可视化窗口下载打开"添加删除程序",找到"开发->开发工具"打钩,更新.插入对应的linux安装盘.
2.安装依赖包
Berkeley DB 4.7 (经试验只能用4.7版本,使用4.8版本时memcacheQ-0.1.1版本编译不通过)
Download from <http://www.oracle.com/database/berkeley-db/db/index.html>
How to install BerkekeyDB:
$tar xvzf db-4.7.25.tar.gz
$cd db-4.7.25/
$cd build_unix/
$../dist/configure
$make
$sudo make install
libevent 1.4.x
Download from <http://monkey.org/~provos/libevent/>
How to install libevent:
$tar xvzf libevent-1.4.x-stable.tar.gz
$cd libevent-1.4.x-stable
$./configure
$make
$sudo make install
系统需要动态加载新的lib,编辑/etc/ld.so.conf,在末尾加入两行:
/usr/local/lib
/usr/local/BerkeleyDB.4.7/lib
保存后,运行 ldconfig -v? 命令.
3.安装memcacheQ
$tar xvzf memcacheq-0.1.x.tar.gz
$cd memcacheq-0.1.x
$./configure --enable-threads
$make
$sudo make install
4.启动memcacheQ
memcacheq -d -r -u wuf -p21201 -H /data1/memcacheq -N -v -L 1024 -B 1024 > /data1/mq_error.log 2>&1
-d 后台运行
-p 指定监听端口,这里端口是21201
-H 数据文件存放路径,这里是/data1/memcacheq(必须事先建好目录)
-u 指定已什么用户运行,memcacheq不允许已root运行,所以必须指定一个用户.
注:指定的用户必须有数据文件的读写权限,如这里的/data1/memcacheq和/data1目录.
可以使用"chown 用户名 目录" 的命令给目录授权.
5.关闭memcacheQ
使用ps命令查查memcacheQ的进程:ps -ef|grep wuf,然后直接将进程kill掉.
?
6.测试:
测试代码和Java使用starling分布式消息队列异步处理事务中的一样.
经过测试服务重启后,数据没有丢失.
插入和读取的速度平均 1000条/S 比(starling慢)
?
读取每秒钟:305条读取每秒钟:246条读取每秒钟:259条读取每秒钟:186条读取每秒钟:216条读取每秒钟:313条读取每秒钟:238条读取每秒钟:284条读取每秒钟:313条读取每秒钟:309条读取每秒钟:275条读取每秒钟:286条读取每秒钟:332条读取每秒钟:341条读取每秒钟:333条读取每秒钟:308条读取每秒钟:319条读取每秒钟:299条读取每秒钟:347条读取每秒钟:323条读取每秒钟:315条读取每秒钟:317条读取每秒钟:311条读取每秒钟:299条
