Redis5.0中的内存淘汰策略详解（最新的版本）

作为一个内存数据库，redis在内存空间不足的时候，为了保证命中率，就会选择一定的数据淘汰策略，这篇文章主要讲解常见的几种内存淘汰策略。和我们操作系统中的页面置换算法类似。

一、参数设置

我们的redis数据库的最大缓存、主键失效、淘汰机制等参数都是通过配置文件来配置的。这个文件是我们的redis.config文件，我们的redis装在了/usr/local/redis目录下，所以配置文件也在这里。首先说明一下我使用的redis是5。也是目前最新的版本。

1、最大内存参数

关键的配置就在最下面，我们可以设置多少个字节。默认是关闭的。

2、内存淘汰策略

不同于之前的版本，redis5.0为我们提供了八个不同的内存置换策略。很早之前提供了6种。

（1）volatile-lru：从已设置过期时间的数据集中挑选最近最少使用的数据淘汰。

（2）volatile-ttl：从已设置过期时间的数据集中挑选将要过期的数据淘汰。

（3）volatile-random：从已设置过期时间的数据集中任意选择数据淘汰。

（4）volatile-lfu：从已设置过期时间的数据集挑选使用频率最低的数据淘汰。

（5）allkeys-lru：从数据集中挑选最近最少使用的数据淘汰

（6）allkeys-lfu：从数据集中挑选使用频率最低的数据淘汰。

（7）allkeys-random：从数据集（server.db[i].dict）中任意选择数据淘汰

（8） no-enviction（驱逐）：禁止驱逐数据，这也是默认策略。意思是当内存不足以容纳新入数据时，新写入操作就会报错，请求可以继续进行，线上任务也不能持续进行，采用no-enviction策略可以保证数据不被丢失。

这八种大体上可以分为4中，lru、lfu、random、ttl。

二、淘汰机制的实现

1、删除失效主键

既然是淘汰，那就需要把这些数据给删除，然后保存新的。Redis 删除失效主键的方法主要有两种：

（1）消极方法（passive way），在主键被访问时如果发现它已经失效，那么就删除它。redis在实现GET、MGET、HGET、LRANGE等所有涉及到读取数据的命令时都会调用 expireIfNeeded，它存在的意义就是在读取数据之前先检查一下它有没有失效，如果失效了就删除它。

 1int expireIfNeeded(redisDb *db, robj *key) {
 2    //获取主键的失效时间
 3    long long when = getExpire(db,key);
 4    //假如失效时间为负数，说明该主键未设置失效时间（失效时间默认为-1），直接返回0
 5    if (when < 0) return 0;
 6    //假如Redis服务器正在从RDB文件中加载数据，暂时不进行失效主键的删除，直接返回0
 7    if (server.loading) return 0;
 8    /*假如当前的Redis服务器是作为Slave运行的，那么不进行失效主键的删除，因为Slave
 9    上失效主键的删除是由Master来控制的，但是这里会将主键的失效时间与当前时间进行
10    一下对比，以告知调用者指定的主键是否已经失效了*/
11    if (server.masterhost != NULL) {
12        return mstime() > when;
13    }
14    /*如果以上条件都不满足，就将主键的失效时间与当前时间进行对比，如果发现指定的主键
15    还未失效就直接返回0*/
16    if (mstime() <= when) return 0;
17    /*如果发现主键确实已经失效了，那么首先更新关于失效主键的统计个数，然后将该主键失
18    效的信息进行广播，最后将该主键从数据库中删除*/
19    server.stat_expiredkeys++;
20    propagateExpire(db,key);
21    return dbDelete(db,key);
22}

expireIfNeeded函数中调用的另外一个函数propagateExpire，这个函数用来在正式删除失效主键，并且广播告诉其他地方，目的地有俩：AOF文件，将删除失效主键的这一操作以DEL Key的标准命令格式记录下来；另一个就是发送到当前Redis服务器的所有Slave，同样将删除失效主键的这一操作以DEL Key的标准命令格式告知这些Slave删除各自的失效主键。

 1void propagateExpire(redisDb *db, robj *key) {
 2    robj *argv[2];
 3    //shared.del是在Redis服务器启动之初就已经初始化好的一个常用Redis对象，即DEL命令
 4    argv[0] = shared.del;
 5    argv[1] = key;
 6    incrRefCount(argv[0]);
 7    incrRefCount(argv[1]);
 8    //检查Redis服务器是否开启了AOF，如果开启了就为失效主键记录一条DEL日志
 9    if (server.aof_state != REDIS_AOF_OFF)
10        feedAppendOnlyFile(server.delCommand,db->id,argv,2);
11    /*检查Redis服务器是否拥有Slave，如果是就向所有Slave发送DEL失效主键的命令，这就是
12    上面expireIfNeeded函数中发现自己是Slave时无需主动删除失效主键的原因了，因为它
13    只需听从Master发送过来的命令就OK了*/
14    if (listLength(server.slaves))
15        replicationFeedSlaves(server.slaves,db->id,argv,2);
16    decrRefCount(argv[0]);
17    decrRefCount(argv[1]);
18}

（2）积极方法（active way），周期性地探测，发现失效就删除。消极方法的缺点是，如果key 迟迟不被访问，就会占用很多内存空间，所以才有积极方式。

（3）主动删除：当内存超过maxmemory限定时，触发主动清理策略，该策略由启动参数的配置决定

主键具体的失效时间全部都维护在expires这个字典表中：

1typedef struct redisDb {
2  dict *dict; //key-value
3  dict *expires;  //维护过期key
4  dict *blocking_keys;
5  dict *ready_keys;
6  dict *watched_keys;
7  int id;
8} redisDb;

2、淘汰数据的量

既然是淘汰数据，那么淘汰多少合适呢？

为了避免频繁的触发淘汰策略，每次会淘汰掉一批数据，淘汰的数据的大小其实是和置换的大小来确定的，如果置换的数据量大，淘汰的肯定也多。

3、置换策略是如何工作

理解置换策略的执行方式是非常重要的，比如：

（1）客户端执行一条新命令，导致数据库需要增加数据（比如set key value）

（2）Redis会检查内存使用，如果内存使用超过maxmemory，就会按照置换策略删除一些key

（3）新的命令执行成功

OK，redis数据淘汰策略就先到这，版本使用的是最新的5。可能会和3不同。

一、参数设置

二、淘汰机制的实现

更多相关文章

随机推荐