Redis安装及主从配置
Redis是一种面向“键/值”对类型数据的分布式NoSQL数据库系统,特点是高性能,持久存储,适应高并发的应用场景。它起步较晚,发展迅速,目前已被许多大型机构采用,如google、taobao、sina微博等。本文不对其数据结构做深入的讲解,只是介绍其安装及主从结构的配置过程。如需要更详细的了解请参考其官方网站。
Redis的安装Redis目前只支持Linux及BSD等系统,不支持Window下的安装。在Linux下安装的过程如下所示:
$ wget http://redis.googlecode.com/files/redis-2.2.12.tar.gz
$ tar xzf redis-2.2.12.tar.gz
$ cd redis-2.2.12
$ make
安装成功后的提示为:
Hint: To run 'make test' is a good idea ;)
make[1]: Leaving directory `/usr/alibaba/install/redis-2.2.12/src'
在安装完成后,即可进入至该工程的src下启动服务:
$ src/redis-server
通过内置的build-cli工具进行相应的测试,其测试过程如下:
$ src/redis-cli
redis> set foo bar
OK
redis> get foo
"bar"
redis > getset foo 123
“bar”
redis >get foo
123
Redis的主从配置机器的分配主从结构的配置所涉及到的机器及各机器所完成的功能如下所示:
IP地址
角色
10.20.150.205
主结点
10.20.150.208
从结点1
10.20.150.209
从结点2
主从结构的配置在进行主从结构配置之前,请确保已经在上述三台机器上已经安装了Redis服务。对于Redis的主从结构的配置相对比较简单,只需修改redis.conf文件,配置上主结点对应的IP及端口。具体如下所示:
Port 6380
bind 10.20.150.205
slaveof 10.20.150.205 6379
l port 6380表示当前该Redis服务对应的端口号;
l bind 10.20.150.205 表示当前Redis绑定的主结点的IP地址;
l slaveof 10.20.150.205 6379 表示当前Redis是哪个主结点的从结点,其中包括IP及端口号。
当主结点在启动时当只有一台主结点在启动时,会显示如下的信息:
[29028] 26 Sep 18:39:12 * Server started, Redis version 2.2.12
[29028] 26 Sep 18:39:12 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
[29028] 26 Sep 18:39:12 * DB loaded from disk: 0 seconds
[29028] 26 Sep 18:39:12 * The server is now ready to accept connections on port 6379
[29028] 26 Sep 18:39:12 - 0 clients connected (0 slaves), 790584 bytes in use
当有一台从结点10.20.150.208启动时其中主结点会自动检测到有新的从结点启动并加入进来,其显示的信息如下:
[29028] 26 Sep 18:40:31 - Accepted 10.20.150.208:44779
[29028] 26 Sep 18:40:31 * Slave ask for synchronization
[29028] 26 Sep 18:40:31 * Starting BGSAVE for SYNC
[29028] 26 Sep 18:40:31 * Background saving started by pid 29091
[29091] 26 Sep 18:40:31 * DB saved on disk
[29028] 26 Sep 18:40:31 * Background saving terminated with success
[29028] 26 Sep 18:40:31 * Synchronization with slave succeeded
[29028] 26 Sep 18:40:32 - 0 clients connected (1 slaves), 798752 bytes in use
[29028] 26 Sep 18:40:37 - 0 clients connected (1 slaves), 798752 bytes in use
[29028] 26 Sep 18:40:42 - 0 clients connected (1 slaves), 798752 bytes in use
[29028] 26 Sep 18:40:47 - 0 clients connected (1 slaves), 798752 bytes in use
对于从结点显示的信息如下:
#[597] 26 Sep 18:40:29 * Server started, Redis version 2.2.12
[597] 26 Sep 18:40:29 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
[597] 26 Sep 18:40:29 * The server is now ready to accept connections on port 6379
[597] 26 Sep 18:40:29 - 0 clients connected (0 slaves), 790616 bytes in use
[597] 26 Sep 18:40:29 * Connecting to MASTER...
[597] 26 Sep 18:40:29 * MASTER <-> SLAVE sync started: SYNC sent
[597] 26 Sep 18:40:29 * MASTER <-> SLAVE sync: receiving 10 bytes from master
[597] 26 Sep 18:40:29 * MASTER <-> SLAVE sync: Loading DB in memory
[597] 26 Sep 18:40:29 * MASTER <-> SLAVE sync: Finished with success
[597] 26 Sep 18:40:34 - 1 clients connected (0 slaves), 798744 bytes in use
当有另外一台从机10.20.150.209挂载时当有另一台从机挂载至主机时,主机显示的信息如下:
[29028] 26 Sep 18:42:52 - 0 clients connected (1 slaves), 798752 bytes in use
[29028] 26 Sep 18:42:57 - 0 clients connected (1 slaves), 798752 bytes in use
[29028] 26 Sep 18:42:58 - Accepted 10.20.150.209:47650
[29028] 26 Sep 18:42:58 * Slave ask for synchronization
[29028] 26 Sep 18:42:58 * Starting BGSAVE for SYNC
[29028] 26 Sep 18:42:58 * Background saving started by pid 29287
[29287] 26 Sep 18:42:58 * DB saved on disk
[29028] 26 Sep 18:42:59 * Background saving terminated with success
[29028] 26 Sep 18:42:59 * Synchronization with slave succeeded
[29028] 26 Sep 18:43:02 - 0 clients connected (2 slaves), 806920 bytes in use
从另一台从机上可以看到的信息如下:
[Intranet root@xasc-150-209 /usr/alibaba/install/redis-2.2.12/src]
#./redis-server ../redis.conf
[15034] 26 Sep 18:42:56 * Server started, Redis version 2.2.12
[15034] 26 Sep 18:42:56 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
[15034] 26 Sep 18:42:56 * The server is now ready to accept connections on port 6379
[15034] 26 Sep 18:42:56 - 0 clients connected (0 slaves), 790616 bytes in use
[15034] 26 Sep 18:42:56 * Connecting to MASTER...
[15034] 26 Sep 18:42:56 * MASTER <-> SLAVE sync started: SYNC sent
[15034] 26 Sep 18:42:56 * MASTER <-> SLAVE sync: receiving 10 bytes from master
[15034] 26 Sep 18:42:56 * MASTER <-> SLAVE sync: Loading DB in memory
[15034] 26 Sep 18:42:56 * MASTER <-> SLAVE sync: Finished with success
[15034] 26 Sep 18:43:01 - 1 clients connected (0 slaves), 798744 bytes in use
当主结点宕掉时当主结点突然间不可用,两台从机会由于找不到主结点而报错,信息如下:
[597] 26 Sep 18:46:09 * Connecting to MASTER...
[597] 26 Sep 18:46:09 # Unable to connect to MASTER: Connection refused
[597] 26 Sep 18:46:10 * Connecting to MASTER...
[597] 26 Sep 18:46:10 # Unable to connect to MASTER: Connection refused
[597] 26 Sep 18:46:11 * Connecting to MASTER...
[597] 26 Sep 18:46:11 # Unable to connect to MASTER: Connection refused
[597] 26 Sep 18:46:12 * Connecting to MASTER...
[597] 26 Sep 18:46:12 # Unable to connect to MASTER: Connection refused
[597] 26 Sep 18:46:13 * Connecting to MASTER...
[597] 26 Sep 18:46:13 # Unable to connect to MASTER: Connection refused
[597] 26 Sep 18:46:14 - 0 clients connected (0 slaves), 790616 bytes in use
主结点在没有启动的情况下,从机先启动时当主结点还没有启动时,从结点先启动,由于找不到对应主结点,会报如下的信息错误:
[Intranet root@xasc-150-208 /usr/alibaba/install/redis-2.2.12/src]
#./redis-server ../redis.conf
[1842] 26 Sep 18:48:50 * Server started, Redis version 2.2.12
[1842] 26 Sep 18:48:50 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
[1842] 26 Sep 18:48:50 * DB loaded from disk: 0 seconds
[1842] 26 Sep 18:48:50 * The server is now ready to accept connections on port 6379
[1842] 26 Sep 18:48:50 - 0 clients connected (0 slaves), 790616 bytes in use
[1842] 26 Sep 18:48:50 * Connecting to MASTER...
[1842] 26 Sep 18:48:50 # Unable to connect to MASTER: Connection refused
[1842] 26 Sep 18:48:51 * Connecting to MASTER...
[1842] 26 Sep 18:48:51 # Unable to connect to MASTER: Connection refused
[1842] 26 Sep 18:48:52 * Connecting to MASTER...
[1842] 26 Sep 18:48:52 # Unable to connect to MASTER: Connection refused
[1842] 26 Sep 18:48:53 * Connecting to MASTER...
[1842] 26 Sep 18:48:53 # Unable to connect to MASTER: Connection refused
[1842] 26 Sep 18:48:54 * Connecting to MASTER...
[1842] 26 Sep 18:48:54 # Unable to connect to MASTER: Connection refused
[1842] 26 Sep 18:48:55 - 0 clients connected (0 slaves), 790616 bytes in use
当有一台从机不可用时当有一台从机变得不可用时,主机显示的信息如下:
32 - 1 clients connected (0 slaves), 798744 bytes in use
[16848] 26 Sep 18:50:37 - 1 clients connected (0 slaves), 798744 bytes in use
[16848] 26 Sep 18:50:42 - 1 clients connected (0 slaves), 798744 bytes in use
当两台从机都宕掉时当两台从机都变得不可用时,主机显示的信息如下:
[29736] 26 Sep 18:52:57 - Client closed connection
[29736] 26 Sep 18:53:02 - 0 clients connected (0 slaves), 790584 bytes in use
[29736] 26 Sep 18:53:07 - 0 clients connected (0 slaves), 790584 bytes in use
主从结构的测试在主结点上执行写入在主机上执行写入命令1
redis> set foo bar
在各个从机上会显示的信息如下:
[2528] 26 Sep 18:57:01 - DB 0: 1 keys (0 volatile) in 4 slots HT.
[2528] 26 Sep 18:57:01 - 1 clients connected (0 slaves), 798952 bytes in use
[2528] 26 Sep 18:57:06 - DB 0: 1 keys (0 volatile) in 4 slots HT.
[2528] 26 Sep 18:57:06 - 1 clients connected (0 slaves), 798936 bytes in use
在主机上执行get foo命令,显示的信息如下:
redis 127.0.0.1:6379> get foo
"bar"
在从机10.20.150.208上执行get foo命令,显示的信息如下:
redis 127.0.0.1:6379> get foo
"bar"
同理,在从机10.20.150.209上执行get foo命令,显示的信息如下:
redis 127.0.0.1:6379> get foo
"bar"
当有一台从机挂掉后,在主机上写入
当有一台从机(10.20.150.208)宕机,在主机上执行setfoo1写入命令。
主机上执行get foo1时显示的信息如下:
redis 127.0.0.1:6379> get foo1
"test"
另一台从机上执行getfoo1时显示的信息如下:
redis 127.0.0.1:6379> get foo1
"test"
当把10.20.150.208从机启动起来时,执行getfoo1命令,显示的信息如下:
redis 127.0.0.1:6379> get foo1
"test"
可见,即使当从机挂掉并再次启动时,仍会将主机做过的修改全部都同步至重启的从机上。
当在一台从机上执行写入另外在一台从机上执行的写入操作,是不会同步至主机及其它从机上的。在一台从机10.20.150.209上执行set foo2 test2命令,在此从机上执行get foo2命令会得到如下的结果:
redis 127.0.0.1:6379> get foo2
"test2"
在主机上执行getfoo2命令时,则会得到如下结果:
redis 127.0.0.1:6379> get foo2
(nil)
同样,在另外一台从机10.20.150.208上执行get foo2命令时,会得到如下结果:
redis 127.0.0.1:6379> get foo2
(nil)
由此可以得出在从机上所做的任何写入操作,只对本台从机起作用,不会被同步至主机及其它从机的。
Redis的配置详解配置名称
可选值/推荐值
说明
daemonize
yes/no
如果选择yes,则说明redis以看守进程的方式运行在系统的后台。通过ps –ef |grep redis-server可以查看redis服务是否正常。
pidfile
/var/run/redis.pid
Pid文件的全路径信息
port
6379
Redis服务的默认端口
bind
0.0.0.0
Redis服务绑定的Ip地址,如果填写0.0.0.0,则绑定本地所有的Ip地址。
timeout
86400
客户端和Redis服务之间空闲的最大时间,超过这个时间,连接将会断开。配置的时候需要根据客户端的需求进行配置
loglevel
debug, verbose, notice, warning
debug:开发和测试情况下配置为此选项
verbose:无调试信息,会输出notice消息和warning消息等。
notice:比verbose较少的信息
warning:只有比较重要的信息会输出
logfile
stdout或者日志文件名称
指明日志写入到哪个文件中去,如果在daemonize模式下,日志将不会输出到任何地方;否则输出到标准输出或者日志文件中。
database
0
配置数据库的数量。如果为0的话,只配置一个数据库。数据库的索引从0到database-1
save <seconds> <changes>
save 900 1
多少秒内至少有多少个key改变的情况下存盘。可以多个规则进行组合。譬如:
save 900 1
save 300 10
save 60 10000
如果在60秒内有10000个或以上的key发生变化,就存盘;
如果在300秒内有10个key变化就存盘;
如果在900秒内有1个key变化就存盘。
rdbcompression
yes/no
是否支持rdb数据文件压缩,如果不支持的话,产生的rdb数据文件将比采用压缩方式的要大。如果选择no,则暂用cpu要减小。
dir
./
表示数据库文件存贮到指定的目录下。这里一定要填写一个目录名称。
slaveof <masterip> <masterport>
该选项用于实现主从方式的redis,其中masterip和masterport填写主redis服务的服务ip和端口号。
masterauth <master-password>
如果本配置作为一个从redis服务的配置,而且主redis服务需要进行密码认证,则这里需要填写主redis服务的密码信息,即requirepass中填写的数值。
requirepass
如果本配置是作为一个主redis服务的配置,而且需要提供认证机制,则该配置项可以提供该功能。所有的从redis服务都需要在masterauth中填写相应的密码。建议该处的密码信息是一个较长的不易破解的密码。
Maxclients
限制能够同时在线的客户端的数量。
Maxmemory
设置redis最多消耗的内存字节数;如果超过指定的字节数,redis会尝试释放过期的key;如果释放失败,则所有的写失败,读可以继续。对于一些可以预见的应用,可以设置该项;对于一些不可预见的应用,不建议设置该项内容。
appendonly
yes/no
在每次变更的时候是否写AOF日志。如果设为yes,则AOF日志会写入到日志文件中,一段遇到掉电的情况,可以通过日志文件恢复数据;如果对此不敏感,则不需要打开该选项
Appendfilename
如果appendonly设置为yes,则这里需要设置AOF文件的名称
appendfsync
no/ always/everysec
no:由操作系统决定什么时候将日志同步到磁盘;
always:比较慢,最安全
everysec:介于上面两种选项的一个折衷的方法。
vm-enabled
yes/no
如果内存的需求比实际的内存大的话,可以选择yes选项,采用虚拟内存来充当内存;否则采用no选项。
vm-swap-file
虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
vm-max-memory
将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0。
vm-page-size
32、64或其它
每页占用的字节数。如果你们数据的尺寸比较小,可以选择32或者64,如果数据比较大,那么建议采用一个较大的数据来描述。本参数对启用VM机制有用。
vm-pages
页面的最大数量,对于一个4G的swap文件来说,这个数值最大为4G/ vm-page-size得到的整数值。
vm-max-threads
可以设置访问swap文件的线程数,设置最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的.可能会造成比较长时间的延迟,但是对数据完整性有很好的保证.
glueoutputbuf
把小的输出缓存放在一起,以便能够在一个TCP packet中为客户端发送多个响应,具体原理和真实效果我不是很清楚。所以根据注释,你不是很确定的时候就设置成yes
hash-max-zipmap-entries
在redis 2.0中引入了hash数据结构。当hash中包含超过指定元素个数并且最大的元素没有超过临界时,hash将以一种特殊的编码方式(大大减少内存使用)来存储,这里可以设置这两个临界值
activerehashing
yes/no
开启之后,redis将在每100毫秒时使用1毫秒的CPU时间来对redis的hash表进行重新hash,可以降低内存的使用。当你的使用场景中,有非常严格的实时性需要,不能够接受Redis时不时的对请求有2毫秒的延迟的话,把这项配置为no。如果没有这么严格的实时性要求,可以设置为yes,以便能够尽可能快的释放内存