MongoDB集群安插数据测试

MongoDB集群插入数据测试

?上一篇建好的MongoDB集群中插入数据，看看性能如何。

向test数据库的test集合插入五百万数据

用时约11分钟

查看集合状态

?

1. mongos>?db.test.stats(1024)?
2. {?
3. ????????"sharded"?:?true,?
4. ????????"ns"?:?"test.test",?
5. ????????"count"?:?5000000,?
6. ????????"numExtents"?:?61,?
7. ????????"size"?:?273436,?
8. ????????"storageSize"?:?839500,?
9. ????????"totalIndexSize"?:?158685,?
10. ????????"indexSizes"?:?{?
11. ????????????????"_id_"?:?158685?
12. ????????},?
13. ????????"avgObjSize"?:?0.0546872,?
14. ????????"nindexes"?:?1,?
15. ????????"nchunks"?:?29,?
16. ????????"shards"?:?{?
17. ????????????????"shard1"?:?{?
18. ????????????????????????"ns"?:?"test.test",?
19. ????????????????????????"count"?:?0,?
20. ????????????????????????"size"?:?0,?
21. ????????????????????????"storageSize"?:?18460,?
22. ????????????????????????"numExtents"?:?8,?
23. ????????????????????????"nindexes"?:?1,?
24. ????????????????????????"lastExtentSize"?:?7468,?
25. ????????????????????????"paddingFactor"?:?1,?
26. ????????????????????????"systemFlags"?:?1,?
27. ????????????????????????"userFlags"?:?0,?
28. ????????????????????????"totalIndexSize"?:?7,?
29. ????????????????????????"indexSizes"?:?{?
30. ????????????????????????????????"_id_"?:?7?
31. ????????????????????????},?
32. ????????????????????????"ok"?:?1?
33. ????????????????},?
34. ????????????????"shard2"?:?{?
35. ????????????????????????"ns"?:?"test.test",?
36. ????????????????????????"count"?:?1256764,?
37. ????????????????????????"size"?:?68729,?
38. ????????????????????????"avgObjSize"?:?0.054687276210967216,?
39. ????????????????????????"storageSize"?:?121032,?
40. ????????????????????????"numExtents"?:?11,?
41. ????????????????????????"nindexes"?:?1,?
42. ????????????????????????"lastExtentSize"?:?36744,?
43. ????????????????????????"paddingFactor"?:?1,?
44. ????????????????????????"systemFlags"?:?1,?
45. ????????????????????????"userFlags"?:?0,?
46. ????????????????????????"totalIndexSize"?:?39834,?
47. ????????????????????????"indexSizes"?:?{?
48. ????????????????????????????????"_id_"?:?39834?
49. ????????????????????????},?
50. ????????????????????????"ok"?:?1?
51. ????????????????},?
52. ????????????????"shard3"?:?{?
53. ????????????????????????"ns"?:?"test.test",?
54. ????????????????????????"count"?:?3642282,?
55. ????????????????????????"size"?:?199187,?
56. ????????????????????????"avgObjSize"?:?0.05468741849203329,?
57. ????????????????????????"storageSize"?:?328024,?
58. ????????????????????????"numExtents"?:?14,?
59. ????????????????????????"nindexes"?:?1,?
60. ????????????????????????"lastExtentSize"?:?90412,?
61. ????????????????????????"paddingFactor"?:?1,?
62. ????????????????????????"systemFlags"?:?1,?
63. ????????????????????????"userFlags"?:?0,?
64. ????????????????????????"totalIndexSize"?:?115621,?
65. ????????????????????????"indexSizes"?:?{?
66. ????????????????????????????????"_id_"?:?115621?
67. ????????????????????????},?
68. ????????????????????????"ok"?:?1?
69. ????????????????},?
70. ????????????????"shard4"?:?{?
71. ????????????????????????"ns"?:?"test.test",?
72. ????????????????????????"count"?:?100954,?
73. ????????????????????????"size"?:?5520,?
74. ????????????????????????"avgObjSize"?:?0.05467836836579036,?
75. ????????????????????????"storageSize"?:?21980,?
76. ????????????????????????"numExtents"?:?7,?
77. ????????????????????????"nindexes"?:?1,?
78. ????????????????????????"lastExtentSize"?:?11060,?
79. ????????????????????????"paddingFactor"?:?1,?
80. ????????????????????????"systemFlags"?:?1,?
81. ????????????????????????"userFlags"?:?0,?
82. ????????????????????????"totalIndexSize"?:?3209,?
83. ????????????????????????"indexSizes"?:?{?
84. ????????????????????????????????"_id_"?:?3209?
85. ????????????????????????},?
86. ????????????????????????"ok"?:?1?
87. ????????????????},?
88. ????????????????"shard5"?:?{?
89. ????????????????????????"ns"?:?"test.test",?
90. ????????????????????????"count"?:?0,?
91. ????????????????????????"size"?:?0,?
92. ????????????????????????"storageSize"?:?328024,?
93. ????????????????????????"numExtents"?:?14,?
94. ????????????????????????"nindexes"?:?1,?
95. ????????????????????????"lastExtentSize"?:?90412,?
96. ????????????????????????"paddingFactor"?:?1,?
97. ????????????????????????"systemFlags"?:?1,?
98. ????????????????????????"userFlags"?:?0,?
99. ????????????????????????"totalIndexSize"?:?7,?
100. ????????????????????????"indexSizes"?:?{?
101. ????????????????????????????????"_id_"?:?7?
102. ????????????????????????},?
103. ????????????????????????"ok"?:?1?
104. ????????????????},?
105. ????????????????"shard6"?:?{?
106. ????????????????????????"ns"?:?"test.test",?
107. ????????????????????????"count"?:?0,?
108. ????????????????????????"size"?:?0,?
109. ????????????????????????"storageSize"?:?21980,?
110. ????????????????????????"numExtents"?:?7,?
111. ????????????????????????"nindexes"?:?1,?
112. ????????????????????????"lastExtentSize"?:?11060,?
113. ????????????????????????"paddingFactor"?:?1,?
114. ????????????????????????"systemFlags"?:?1,?
115. ????????????????????????"userFlags"?:?0,?
116. ????????????????????????"totalIndexSize"?:?7,?
117. ????????????????????????"indexSizes"?:?{?
118. ????????????????????????????????"_id_"?:?7?
119. ????????????????????????},?
120. ????????????????????????"ok"?:?1?
121. ????????????????}?
122. ????????},?
123. ????????"ok"?:?1?
124. }?

向test数据库的test集合插入一千万数据

用时约33分钟

查看集合状态

?

1. mongos>?db.test.stats(1024)?
2. {?
3. ????????"sharded"?:?true,?
4. ????????"ns"?:?"test.test",?
5. ????????"count"?:?10000000,?
6. ????????"numExtents"?:?81,?
7. ????????"size"?:?546873,?
8. ????????"storageSize"?:?1542568,?
9. ????????"totalIndexSize"?:?316959,?
10. ????????"indexSizes"?:?{?
11. ????????????????"_id_"?:?316959?
12. ????????},?
13. ????????"avgObjSize"?:?0.0546873,?
14. ????????"nindexes"?:?1,?
15. ????????"nchunks"?:?39,?
16. ????????"shards"?:?{?
17. ????????????????"shard1"?:?{?
18. ????????????????????????"ns"?:?"test.test",?
19. ????????????????????????"count"?:?3231299,?
20. ????????????????????????"size"?:?176711,?
21. ????????????????????????"avgObjSize"?:?0.054687294490543895,?
22. ????????????????????????"storageSize"?:?307628,?
23. ????????????????????????"numExtents"?:?16,?
24. ????????????????????????"nindexes"?:?1,?
25. ????????????????????????"lastExtentSize"?:?82448,?
26. ????????????????????????"paddingFactor"?:?1,?
27. ????????????????????????"systemFlags"?:?1,?
28. ????????????????????????"userFlags"?:?0,?
29. ????????????????????????"totalIndexSize"?:?102391,?
30. ????????????????????????"indexSizes"?:?{?
31. ????????????????????????????????"_id_"?:?102391?
32. ????????????????????????},?
33. ????????????????????????"ok"?:?1?
34. ????????????????},?
35. ????????????????"shard2"?:?{?
36. ????????????????????????"ns"?:?"test.test",?
37. ????????????????????????"count"?:?2710175,?
38. ????????????????????????"size"?:?148212,?
39. ????????????????????????"avgObjSize"?:?0.05468724344368906,?
40. ????????????????????????"storageSize"?:?237612,?
41. ????????????????????????"numExtents"?:?13,?
42. ????????????????????????"nindexes"?:?1,?
43. ????????????????????????"lastExtentSize"?:?66972,?
44. ????????????????????????"paddingFactor"?:?1,?
45. ????????????????????????"systemFlags"?:?1,?
46. ????????????????????????"userFlags"?:?0,?
47. ????????????????????????"totalIndexSize"?:?85935,?
48. ????????????????????????"indexSizes"?:?{?
49. ????????????????????????????????"_id_"?:?85935?
50. ????????????????????????},?
51. ????????????????????????"ok"?:?1?
52. ????????????????},?
53. ????????????????"shard3"?:?{?
54. ????????????????????????"ns"?:?"test.test",?
55. ????????????????????????"count"?:?0,?
56. ????????????????????????"size"?:?0,?
57. ????????????????????????"storageSize"?:?328024,?
58. ????????????????????????"numExtents"?:?14,?
59. ????????????????????????"nindexes"?:?1,?
60. ????????????????????????"lastExtentSize"?:?90412,?
61. ????????????????????????"paddingFactor"?:?1,?
62. ????????????????????????"systemFlags"?:?1,?
63. ????????????????????????"userFlags"?:?0,?
64. ????????????????????????"totalIndexSize"?:?7,?
65. ????????????????????????"indexSizes"?:?{?
66. ????????????????????????????????"_id_"?:?7?
67. ????????????????????????},?
68. ????????????????????????"ok"?:?1?
69. ????????????????},?
70. ????????????????"shard4"?:?{?
71. ????????????????????????"ns"?:?"test.test",?
72. ????????????????????????"count"?:?1936150,?
73. ????????????????????????"size"?:?105883,?
74. ????????????????????????"avgObjSize"?:?0.05468739508819048,?
75. ????????????????????????"storageSize"?:?170640,?
76. ????????????????????????"numExtents"?:?12,?
77. ????????????????????????"nindexes"?:?1,?
78. ????????????????????????"lastExtentSize"?:?49608,?
79. ????????????????????????"paddingFactor"?:?1,?
80. ????????????????????????"systemFlags"?:?1,?
81. ????????????????????????"userFlags"?:?0,?
82. ????????????????????????"totalIndexSize"?:?61359,?
83. ????????????????????????"indexSizes"?:?{?
84. ????????????????????????????????"_id_"?:?61359?
85. ????????????????????????},?
86. ????????????????????????"ok"?:?1?
87. ????????????????},?
88. ????????????????"shard5"?:?{?
89. ????????????????????????"ns"?:?"test.test",?
90. ????????????????????????"count"?:?0,?
91. ????????????????????????"size"?:?0,?
92. ????????????????????????"storageSize"?:?328024,?
93. ????????????????????????"numExtents"?:?14,?
94. ????????????????????????"nindexes"?:?1,?
95. ????????????????????????"lastExtentSize"?:?90412,?
96. ????????????????????????"paddingFactor"?:?1,?
97. ????????????????????????"systemFlags"?:?1,?
98. ????????????????????????"userFlags"?:?0,?
99. ????????????????????????"totalIndexSize"?:?7,?
100. ????????????????????????"indexSizes"?:?{?
101. ????????????????????????????????"_id_"?:?7?
102. ????????????????????????},?
103. ????????????????????????"ok"?:?1?
104. ????????????????},?
105. ????????????????"shard6"?:?{?
106. ????????????????????????"ns"?:?"test.test",?
107. ????????????????????????"count"?:?2122376,?
108. ????????????????????????"size"?:?116067,?
109. ????????????????????????"avgObjSize"?:?0.05468729386310437,?
110. ????????????????????????"storageSize"?:?170640,?
111. ????????????????????????"numExtents"?:?12,?
112. ????????????????????????"nindexes"?:?1,?
113. ????????????????????????"lastExtentSize"?:?49608,?
114. ????????????????????????"paddingFactor"?:?1,?
115. ????????????????????????"systemFlags"?:?1,?
116. ????????????????????????"userFlags"?:?0,?
117. ????????????????????????"totalIndexSize"?:?67260,?
118. ????????????????????????"indexSizes"?:?{?
119. ????????????????????????????????"_id_"?:?67260?
120. ????????????????????????},?
121. ????????????????????????"ok"?:?1?
122. ????????????????}?
123. ????????},?
124. ????????"ok"?:?1?
125. }?

?

解释一下查看集合状态的db.colletion.stats(scale)方法

?

db.collection.stats()返回值都是按照字节处理

你可以设定比例参数scale的值来调整，例如scale设为1024，则返回结果某些值按KB处理

?

返回值各字段解释：

sharded：是否可分片

ns：命名空间，按照格式[database].[collection]

count：该集合中的对象或文档数

numExtents：连续的数据文件区域总数。

Size：集合中数据的大小【scale值有影响】

storageSize：分配给该集合的文档存储空间，该值不会减少。【scale值有影响】

totalIndexSize：所有索引的总大小。【scale值有影响】

indexSizes：该值表示集合中所有存在的索引。【scale值有影响】

avgObjSize：集合中对象的平均大小。【scale值有影响】

nindexes：集合的索引数，所有集合至少有一个索引在_id字段。

nchunks：集合分块数。

lastExtentSize：最近分配的扩展大小。【scale值有影响】

paddingFactor：插入的时候在每个文档末尾增加的空间。这提供一个很小的额外磁盘空间让文档有些微的增长而不需要移动文档。mongod会自动计算该值

systemFlags：2.2版新特性。反映该集合内部服务选项的标志。如1代表在_id字段有索引。

userFlags：2.2版新特性。用户设置该集合的标志。在2.2版中唯一的用户标志是?usePowerOf2Sizes。如果usePowerOf2Sizes是可用的，userFlags就是1，其余都是0.

?

?

查看各复制集情况

shard1复制集

?

1. {?
2. ????????"set"?:?"shard1",?
3. ????????"date"?:?ISODate("2013-01-13T14:27:13Z"),?
4. ????????"myState"?:?1,?
5. ????????"members"?:?[?
6. ????????????????{?
7. ????????????????????????"_id"?:?1,?
8. ????????????????????????"name"?:?"10.50.9.12:27017",?
9. ????????????????????????"health"?:?1,?
10. ????????????????????????"state"?:?1,?
11. ????????????????????????"stateStr"?:?"PRIMARY",?
12. ????????????????????????"uptime"?:?99645,?
13. ????????????????????????"optime"?:?Timestamp(1358086947000,?1),?
14. ????????????????????????"optimeDate"?:?ISODate("2013-01-13T14:22:27Z"),?
15. ????????????????????????"self"?:?true?
16. ????????????????},?
17. ????????????????{?
18. ????????????????????????"_id"?:?2,?
19. ????????????????????????"name"?:?"10.50.9.13:27018",?
20. ????????????????????????"health"?:?1,?
21. ????????????????????????"state"?:?2,?
22. ????????????????????????"stateStr"?:?"SECONDARY",?
23. ????????????????????????"uptime"?:?99643,?
24. ????????????????????????"optime"?:?Timestamp(1358086947000,?1),?
25. ????????????????????????"optimeDate"?:?ISODate("2013-01-13T14:22:27Z"),?
26. ????????????????????????"lastHeartbeat"?:?ISODate("2013-01-13T14:27:12Z"),?
27. ????????????????????????"pingMs"?:?0?
28. ????????????????},?
29. ????????????????{?
30. ????????????????????????"_id"?:?3,?
31. ????????????????????????"name"?:?"10.50.9.13:27019",?
32. ????????????????????????"health"?:?1,?
33. ????????????????????????"state"?:?2,?
34. ????????????????????????"stateStr"?:?"SECONDARY",?
35. ????????????????????????"uptime"?:?99643,?
36. ????????????????????????"optime"?:?Timestamp(1358086947000,?1),?
37. ????????????????????????"optimeDate"?:?ISODate("2013-01-13T14:22:27Z"),?
38. ????????????????????????"lastHeartbeat"?:?ISODate("2013-01-13T14:27:11Z"),?
39. ????????????????????????"pingMs"?:?0?
40. ????????????????}?
41. ????????],?
42. ????????"ok"?:?1?
43. }?

?

【太多字符，差不多的内容就不发了哎╮(╯▽╰)╭】

?

各字段解释：

?

?

set：复制集名

date：当前的ISO时间

myState：表明当前复制集状态，0~10分别代表

编号状态

0启动，1?阶段（分配配置）

1主

2次要

3还原（初始同步，后回滚，停滞成员）

4严重错误

5启动，2?阶段（分叉线程）

6未知状态（副本集从未连接到成员）

7仲裁程序

8死机

9回滚

10已删除

?

syncingTo：只会在副节点出现，保存正在同步的实例的地址。

members：保存复制集中的每个成员信息。

name：该成员所在的地址。

health：健康状态，1表明正在运行，0表明不运行。

State：

编号状态

0启动，1?阶段（分配配置）

1主

2次要

3还原（初始同步，后回滚，停滞成员）

4严重错误

5启动，2?阶段（分叉线程）

6未知状态（副本集从未连接到成员）

7仲裁程序

8死机

9回滚

10已删除

?

stateStr：描述成员状态的字符串。

Uptime：启动至今的秒数。

Optime：包含最近操作日志中该成员应用了的操作信息。

optimeDate：最近该成员访问操作日志的时间。

lastHeartbeat：最近从该成员得到的心跳信息的时间。

pingMs：往返包在远程成员和本地实例的来回时间（毫秒）。

Self：该查看复制集信息文档存储在当前mongod实例，值为true。

?

数据插入脚本

可直接在mongo下执行下列javascript代码

?

插入五百万数据

for(var?i=0;?i<5000000;?i++){

db.test.insert({name?:?’mongodb_test’?+?i,seq?:?i})

}

插入一千万数据

for(var?i=0;?i<10000000;?i++){

db.test.insert({name?:?’mongodb_test’?+?i,seq?:?i})

}