fqueue 讯息队列(一)

fqueue 消息队列(一)

fqueue 是国内开发人员用JAVA开发的一款开源消息队列系统。消息队列可用来处理高并发量的数据库读写操作，降低数据库负载。fqueue的通信层使用了netty框架，数据存储则采用文件队列的方式。

存储层主要的类有以下几个：

FQueue：主要的队列实现主类，所有的消息存储与读取都通过此类进行

FSQueue：FQueue的底层实现，主要是在文件队列系统层面的读写与管理控制

LogEntity：针对单个数据存储文件的操作类

LogIndex：索引文件控制类

整个存储队列关键的代码及功能如下：

1. 有专门的读和写操作句柄负责对当前存储文件的操作。

?

</p><p>?</p><p> 2.专门的索引管理</p><p>?</p><p><textarea name="code" style="width: 657px; height: 597px;" style="width: 656px; height: 205px;" style="width: 657px; height: 68px;" style="width: 659px; height: 196px;" class="java">public class LogEntity { ..... public static final String MAGIC = "FQueuefs";public static int messageStartPosition = 20; mappedByteBuffer.put(MAGIC.getBytes()); mappedByteBuffer.putInt(version);// 8 version mappedByteBuffer.putInt(nextFile);// 12next fileindex mappedByteBuffer.putInt(endPosition);// 16

基本的增删流程如下：

新增FQueue.offer() ---> FSQueue.add() ----->LogEntity.write() ----[writeFull]--->生成下一个文件ID，新建存储文件和索引rotateNextLogWriter() ---->LogEntity.write()

?

读取FQueue.poll() ----> FSQueue.readNextAndRemove() ----->LogEntity.readNextAndRemove() ------[当前文件已读到了尾部]---> 获取下一个文件,将当前文件加入删除队列FileRunner.addDeleteFile()---->再次读取LogEntity.readNextAndRemove() 并更新索引位置。

?