Global file sytem Version2 简单测试
1. 测试目的
了解GFS2的元数据管理性能，测试其每秒可以创建的文件数量。
2. 测试环境
2.1硬件
三台刀片机:
node85 10.0.1.85 cluster management server
node87 10.0.1.87 cluster node1
node89 10.0.1.89 cluster node2
一个光纤盘阵（只用其中一块盘/dev/sdb）
2.2 软件
Redhat5.4,三台机器统一安装此系统
2.3 测试工具
mdtest-1.8.3； 测试命令格式：mdtest –F –w 0 –I 5 –d /mnt/gfs2/0
3. 搭建过程
开始搜索网上文章，好多十几二十多页的，因为它们需要给gfs配置很全面的功能并且在上面跑一些服务程序，或者是模拟iscsi磁盘柜，我们只要做好GFS2集群，然后在节点上跑mdtest就OK了，所以相对简单的多。
3.1在三台机器上安装需要用到的软件包
gfs-utils kmod-gfscman system-config-cluster rgmanager luci
ricci (luci所控制的集群节点需要启动此服务！)，各种包的作用如下：
2 rgmanager：管理集群服务和资源；
2 system-config-cluster:图形化的cluster配置工具，可以配置本机上的集群名字，资源，fence。和服务等(有了luci网页管理，这个可以不要);
2 cman： Cluster Manager;集群管理，用来管理集群的成员，信息，和通知信息，启动或者关闭cman服务会控制fence服务，ccs服务，dlm等服务的启动或关闭。
2 ccs：Cluster Configuration Servcies Daemon；
2 gfs：global file system红帽全局文件系统；
2 luci：一个web界面的cluster控制器，他可以通过ssl协议控制集群各个集群节点，可以在这个web界面对整个集群进行控制，启动集群服务，添加节点，删除节点，配置fence等操作，用来代替复杂的命令行操作。
3.2 修改集群各节点的/etc/hosts配置,添加如下两行：
10.0.1.87 node87
10.0.1.89 node89
3.3 在集群节点node87和node89上启动ricci服务：
service ricci start
chkconfig ricci on
? PS：ricci服务是安装在集群节点上的，因为luci集群管理软件通过ricci软件才能和集群节点通信，并且进行配置。
3.4 在集群管理节点node85上启动luci服务,并添加登陆账号和密码：
service luci start
starting luci: [确定]
Point your web browser tohttps://10.0.1.85:8084 to access luci
chkconfig luci start
luci_admin init //设置账号及密码
3.5登陆web集群管理页面创建集群
在ie浏览器中输入：http://10.0.1.85:8084
很好弄，进去就知道了，我这里因为不需要fence之类的其他功能，所以简单些，需要复杂配置可以参考：http://wenku.baidu.com/view/574220ea172ded630b1cb682.html。
4. 测试
4.1挂载GFS2
格式化sas盘： gfs_mfs2 –p lock_dlm –t hosfore:gfs –j 8 /dev/sdb
格式化的时间比较长，150G的盘要三四分钟，耐心等待。
挂载gfs存储器到每个集群节点：mount -t gfs2 /dev/sdb /mnt/gfs2
这样在各个集群节点之间就可以共享/dev/sdb盘了。
4.2测试结果
客户端数量为1到5的测试均为在同一个node上的测试，由表1中客户端数量到达4个和5个的数据可以看出，当单个节点上的客户端数量达到4个以后，速度总和达到峰值，然后增加一个节点并在上面增加4个客户端，性能总和翻倍，增加第三个节点并再次增加4个客户端后，性能总和没有线性递增，这时应该是到达了GFS2磁盘的文件创建性能峰值5144次/秒。
表1.每个client创建5000个文件的测试结果
clients
5k
Clients 分布
1
482
1
2
1338
2
3
1495
3
4
2064
4
5
2037
5
8
4187
4+4（2 nodes）
12
5144
4+4+4（3 nodes）
