谈谈redis中key的生存时间或过期时间,并说下过期键的删除策略
wptr33 2024-12-17 16:46 30 浏览
作为目前非常热门的非关系数据库Redis,程序猿们对它是必须掌握的。我们知道Redis提供了5种存储数据的数据类型有string、list、hash、set、zset。而我们本篇内容就为大家来说下Redis中有关键的时间设置问题及过期键的删除策略。
一、Redis中对键的时间设置操作
我们知道在Redis中通过EXPIRE命令或者PEXPIRE命令,客户端可以以秒或者毫秒精度为数据库中的某个键设置生存时间(Time To Live,TTL),在经过指定的秒数或者毫秒数之后,服务器就会自动删除生存时间为0的键:
127.0.0.1:6379> set key value
OK
127.0.0.1:6379> get key
"value"
127.0.0.1:6379> expire key 5 //设置key存活5s
(integer) 1
127.0.0.1:6379> get key // 5s内获取key
"value"
127.0.0.1:6379> get key
"value"
127.0.0.1:6379> get key //5s后获取key
(nil)
127.0.0.1:6379>
说明:SETEX命令可以在设置一个字符串键的同时为键设置过期时间,因为这个命令是一个类型限定的命令(只能用于字符串键),所以这里不对这个命令进行介绍,但SETEX命令设置过期时间的原理和EXPIRE命令设置过期时间的原理是完全一样的。
与EXPIRE命令和PEXPIRE命令类似,客户端可以通过EXPIREAT命令或PEXPIREAT命令,以秒或者毫秒精度给数据库中的某个键设置过期时间( expire time )。
过期时间是一个UNIX时间戳,当键的过期时间来临时,服务器就会自动从数据库中删除这个键:
127.0.0.1:6379> set key value
OK
127.0.0.1:6379> expire key 1377257300
(integer) 1
127.0.0.1:6379> time
1) "1673525507"
2) "35958"
127.0.0.1:6379> get key //1377257300之前
"value"
127.0.0.1:6379> get key //1377257300之后
(nil)
设置过期时间
Redis有四个不同的命令可以用于设置键的生存时间(键可以存在多久)或过期时间(键什么时候会被删除):
EXPIRE<key> <ttl>命令用于将键key的生存时间设置为ttl秒。
PEXPIRE<key> <ttl>命令用于将键key的生存时间设置为tt1毫秒。
EXPIREAT<key><timestamp>命令用于将键key的过期时间设置为timestamp所指定的秒数时间戳。
PEXPIREAT<key><timestamp>命令用于将键key的过期时间设置为timestamp所指定的毫秒数时间戳。
虽然有多种不同单位和不同形式的设置命令,但实际上EXPIRE、PEXPIRE、EXPIREAT三个命令都是使用PEXPIREAT命令来实现的:无论客户端执行的是以上四个命令中的哪一个,经过转换之后,最终的执行效果都和执行PEXPIREAT命令一样。
首先,EXPIRE命令可以转换成PEXPIRE命令,源码函数如下:
def EXPIRE (key,ttl_in_sec) :
#将TTL从秒转换成毫秒
ttl_in_ms = sec_to_ms (ttl_in_sec)
PEXPIRE ( key, ttl_in_ms)
#接着,PEXPIRE命令又可以转换成PEXPIREAT命令:
def PEXPIRE ( key,ttl_in_ms):
#获取以毫秒计算的当前UNIX时间戳
now_ms = get_current_unix_timestamp_in_ms ()
#当前时间加上 TTL,得出毫秒格式的键过期时间
PEXPIREAT (key , now_ms+ttl_in_ms)
#并且,EXPIREAT命令也可以转换成PEXPIREAT命令:
def EXPIREAT ( key,expire_time_in_sec) :
#将过期时间从秒转换为毫秒
expire_time_in_ms = sec_to_ms (expire_time_in_sec)
PEXPIREAT ( key,expire_time_in_ms)
最终,EXPIRE、PEXPIRE和EXPIREAT三个命令都会转换成PEXPIREAT命令来执行,关系如下图:
保存过期时间
redisDb结构的expires字典保存了数据库中所有键的过期时间,我们称这个字典为过期字典:过期字典的键是一个指针,这个指针指向键空间中的某个键对象(也即是某个数据库键)。
过期字典的值是一个long类型的整数,这个整数保存了键所指向的数据库键的过期时间(一个毫秒精度的UNIX时间戳)。
typedef struct redisDb {
//...
//过期字典,保存着键的过期时间
dict *expires;
//...
}redisDb;
我们使用图片来展示一个带有过期字典的数据库例子。在这个例子当中,键空间保存了数据库中所有的键值对,而过期字典则保存了数据库键的过期时间。
第一个键值对的键为alphabet键对象,值为1385877600000,这表示数据库键alphabet的过期时间为1385877600000 ( 2013年12月1日零时)。
第二个键值对的键为book键对象,值为1388556000000,这表示数据库键book的过期时间为1388556000000 ( 2014年1月1日零时)。
当客户端执行PEXPIREAT命令(或者其他三个会转换成PEXPIREAT命令的命令)为一个数据库键设置过期时间时,服务器会在数据库的过期字典中关联给定的数据库键和过期时间。
举个例子,如果数据库当前的状态如上图所示,那么在服务器执行以下命令之后:
127.0.0.1:6379> PEXPIREAT message 1391234400000
(integer) 1
过期字典将新增一个键值对,其中键为message键对象,而值则为139123440000o( 2014年2月1日零时),如下图所示:
移除过期时间
使用PERSIST命令可以移除一个键的过期时间。
127.0.0.1:6379> set key value
OK
127.0.0.1:6379> expire key 1000
(integer) 1
127.0.0.1:6379> ttl key
(integer) 992
127.0.0.1:6379> persist key
(integer) 1
127.0.0.1:6379> ttl key
(integer) -1
127.0.0.1:6379>
PERSIST命令就是PEXPIREAT命令的反操作:PERSIST命令在过期字典中查找给定的键,并解除键和值(过期时间)在过期字典中的关联。
计算并返回键剩余生存时间
TTL命令以秒为单位返回键的剩余生存时间,而PTTL命令则以毫秒为单位返回键的剩余生存时间:
127.0.0.1:6379> expire key 1000
(integer) 1
127.0.0.1:6379> ttl key
(integer) 997
127.0.0.1:6379> pttl key
(integer) 993434
127.0.0.1:6379>
TTL和 PTTL两个命令都是通过计算键的过期时间和当前时间之间的差来实现的。
举例说明:对于一个过期时间为1385877600000 (2013年12月1日零时)的键alphabet来说,如果当前时间为1383282000000(2013年11月1日零时),那么对键alphabet执行PTTL命令将返回2595600000,这个值是通过用alphabet键的过期时间减去当前时间计算得出的:1385877600000 - 1383282000000 = 2595600000
另一方面,如果当前时间为1383282000000 (2013年11月1日零时),那么对键alphabet执行TTL命令将返回2595600,这个值是通过计算alphabet键的过期时间减去当前时间的差,然后将差值从毫秒转换为秒之后得出的。
过期键的判定
通过过期字典,程序可以用以下步骤检查一个给定键是否过期:
1)检查给定键是否存在于过期字典:如果存在,那么取得键的过期时间。
2)检查当前UNIX时间戳是否大于键的过期时间:如果是的话,那么键已经过期;否则的话,键未过期。
可以用伪代码来描述这一过程:
def is _expired(key) :
#取得键的过期时间
expire_time_in_ms = redisDb.expires.get (key)
#键没有设置过期时间
if expire_time_in_ms is None:
return False
#取得当前时间的 UNIX时间戳
now_ms = get_current_unix_timestamp_in_ms ()
#检查当前时间是否大于键的过期时间
if now_ms > expire_time_in_ms:
#是,键已经过期
return Trueelse:
#否,键未过期return False
举例说明:
对于一个过期时间为1385877600000 (2013年12月1日零时)的键alphabet来说:
如果当前时间为1383282000000 (2013年11月1日零时),那么调用is_expired (alphabet)将返回ralse,因为当前时间小于alphabet键的过期时间。
另一方面,如果当前时间为1385964000000 ( 2013年12月2日零时),那么调用is_expired (alphabet)将返回True,因为当前时间大于alphabet键的过期时间。
二、过期键删除策略
我们知道了数据库键的过期时间都保存在过期字典中,又知道了如何根据过期时间去判断一个键是否过期,现在剩下的问题是:如果一个键过期了,那么它什么时候会被删除呢?
这个问题有三种可能的答案,它们分别代表了三种不同的删除策略:
(1)定时删除:在设置键的过期时间的同时,创建一个定时器( timer ),让定时器在键的过期时间来临时,立即执行对键的删除操作。
(2)惰性删除:放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话,就删除该键;如果没有过期,就返回该键。
(3)定期删除:每隔一段时间,程序就对数据库进行一次检查,删除里面的过期键。至于要删除多少过期键,以及要检查多少个数据库,则由算法决定。
定时删除
定时删除策略对内存是最友好的:通过使用定时器,定时删除策略可以保证过期键会尽可能快地被删除,并释放过期键所占用的内存。
定时删除策略的缺点
它对CPU时间是最不友好的:在过期键比较多的情况下,删除过期键这一行为可能会占用相当一部分CPU时间,在内存不紧张但是CPU时间非常紧张的情况下,将CPU时间用在删除和当前任务无关的过期键上,无疑会对服务器的响应时间和吞吐量造成影响。
例如,如果正有大量的命令请求在等待服务器处理,并且服务器当前不缺少内存,那么服务器应该优先将CPU时间用在处理客户端的命令请求上面,而不是用在删除过期键上面。
除此之外,创建一个定时器需要用到Redis服务器中的时间事件,而当前时间事件的实现方式——无序链表,查找一个事件的时间复杂度为O(N)——并不能高效地处理大量时间事件。
因此,要让服务器创建大量的定时器,从而实现定时删除策略,在现阶段来说并不现实。
惰性删除
惰性删除策略对CPU时间来说是最友好的:程序只会在取出键时才对键进行过期检查,这可以保证删除过期键的操作只会在非做不可的情况下进行,并且删除的目标仅限于当前处理的键,这个策略不会在删除其他无关的过期键上花费任何CPU时间。
惰性删除策略的缺点
它对内存是最不友好的:如果一个键已经过期,而这个键又仍然保留在数据库中,那么只要这个过期键不被删除,它所占用的内存就不会释放。
在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB),我们甚至可以将这种情况看作是一种内存泄漏——无用的垃圾数据占用了大量的内存,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。
举个例子,对于一些和时间有关的数据,比如日志 ( log),在某个时间点之后,对它们的访问就会大大减少,甚至不再访问,如果这类过期数据大量地积压在数据库中,用户以为服务器已经自动将它们删除了,但实际上这些键仍然存在,而且键所占用的内存也没有释放,那么造成的后果肯定是非常严重的。
定期删除
从上面对定时删除和惰性删除的讨论来看,这两种删除方式在单一使用时都有明显的缺陷:定时删除占用太多CPU时间,影响服务器的响应时间和吞吐量。
惰性删除浪费太多内存,有内存泄漏的危险。
定期删除策略是前两种策略的一种整合和折中:
定期删除策略每隔一段时间执行一次删除过期键操作,并通过限制删除操作执行的时长和频率来减少删除操作对CPU时间的影响。
除此之外,通过定期删除过期键,定期删除策略有效地减少了因为过期键而带来的内存浪费。
定期删除策略的难点是确定删除操作执行的时长和频率:
如果删除操作执行得太频繁,或者执行的时间太长,定期删除策略就会退化成定时删除策略,以至于将CPU时间过多地消耗在删除过期键上面。
如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除策略一样,出现浪费内存的情况。
因此,如果采用定期删除策略的话,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率。
惰性删除策略实现
过期键的惰性删除策略由db.c/expireIfNeeded函数实现,所有读写数据库的Redis命令在执行之前都会调expireIfNeeded 函数对输人键进行检查:
如果输入键已经过期,那么expireIfNeeded 函数将输人键从数据库中删除。
如果输入键未过期,那么expireIfNeeded 函数不做动作。
expireIfNeeded函数就像一个过滤器,它可以在命令真正执行之前,过滤掉过期的输入键,从而避免命令接触到过期键。
expireIfNeeded函数执行过程图解:
另外,因为每个被访问的键都可能因为过期而被expireIfNeeded函数删除,所以每个命令的实现函数都必须能同时处理键存在以及键不存在这两种情况:
(1)当键存在时,命令按照键存在的情况执行。
(2)当键不存在或者键因为过期而被expireIfNeeded函数删除时,命令按照键不存在的情况执行。
举例说明,GET命令的执行过程,在这个执行过程中,命令需要判断键是否存在以及键是否过期,然后根据判断来执行合适的动作。
定期删除策略实现
过期键的定期删除策略由redis.c/activeExpirecycle函数实现,每当Redis的服务器周期性操作redis.c/servercron函数执行时,activeExpirecycle函数就会被调用,它在规定的时间内,分多次遍历服务器中的各个数据库,从数据库的expires字典中随机检查一部分键的过期时间,并删除其中的过期键。
整个过程可以用伪代码描述如下:
#默认每次检查的数据库数量
DEFAULT_DB_NUMBERS = 16
#默认每个数据库检查的键数量
DEFAULT_KEY_NUMBERS = 20
#全局变量,记录检查进度
current_db = 0
def activeExpirecycle ( :
#初始化要检查的数据库数量
#如果服务器的数据库数量比DEFAULT_DB_NUMBERS 要小
#那么以服务器的数据库数量为准
if server.dbnum <DEFAULT_DB_NUMBERS:
db_numbers =server.dbnum
else:
db numbers =DEFAULT_DB_NUMBERS
#遍历各个数据库
for i in range (db_numbers) :
#如果current _db的值等于服务器的数据库数量这表示检查程序已经遍历了服务器的所有数据库一次。将current_db重置为0,开始新的一轮遍历
if current_db == server.dbnum :
current_db - o
#"获取当前要处理的数据库
redisDb = server.db [ current_db]
#将数据库索引增1,指向下一个要处理的数据库current_db +1
#检查数据库键
for j in range (DEFAULT_KEY_NUMBERS):
#如果数据库中没有一个键带有过期时间,那么跳过这个数据库
if redisDb . expires.size ( -= 0: break
#随机获取一个带有过期时间的键
key_with_ttl = redisDb.expires.get_random_keyo)
#检查键是否过期,如果过期就删除它
if is expired (key_with_ttl):
delete_key (key_with_ttl)
#已达到时间上限.停止处理
if reach_time_limit() : return
activeExpirecycle 函数的工作模式可以总结如下:
函数每次运行时,都从一定数量的数据库中取出一定数量的随机键进行检查,并删除其中的过期键。
全局变量current_db 会记录当前activeExpirecycle函数检查的进度,并在下一次activeExpirecycle函数调用时,接着上一次的进度进行处理。
比如说,如果当前activeExpirecycle函数在遍历10号数据库时返回了,那么下次activeExpirecycle函数执行时,将从11号数据库开始查找并删除过期键。随着activeExpirecycle函数的不断执行,服务器中的所有数据库都会被检查一遍,这时函数将current_db变量重置为0,然后再次开始新一轮的检查工作。
总结
本篇文章为大家介绍了下Redis中键的生存时间和过期时间的设置及执行、过期键的删除策略进行了说明。
在三种过期策略中,第一种和第三种为主动删除策略,而第二种则为被动删除策略。在Redis服务器中,实际使用的是惰性删除和定期删除两种策略:通过配合使用这两种删除策略,服务器可以很好地在合理使用CPU时间和避免浪费内存空间之间取得平衡。
相关推荐
- MySQL进阶五之自动读写分离mysql-proxy
-
自动读写分离目前,大量现网用户的业务场景中存在读多写少、业务负载无法预测等情况,在有大量读请求的应用场景下,单个实例可能无法承受读取压力,甚至会对业务产生影响。为了实现读取能力的弹性扩展,分担数据库压...
- 3分钟短文 | Laravel SQL筛选两个日期之间的记录,怎么写?
-
引言今天说一个细分的需求,在模型中,或者使用laravel提供的EloquentORM功能,构造查询语句时,返回位于两个指定的日期之间的条目。应该怎么写?本文通过几个例子,为大家梳理一下。学习时...
- 一文由浅入深带你完全掌握MySQL的锁机制原理与应用
-
本文将跟大家聊聊InnoDB的锁。本文比较长,包括一条SQL是如何加锁的,一些加锁规则、如何分析和解决死锁问题等内容,建议耐心读完,肯定对大家有帮助的。为什么需要加锁呢?...
- 验证Mysql中联合索引的最左匹配原则
-
后端面试中一定是必问mysql的,在以往的面试中好几个面试官都反馈我Mysql基础不行,今天来着重复习一下自己的弱点知识。在Mysql调优中索引优化又是非常重要的方法,不管公司的大小只要后端项目中用到...
- MySQL索引解析(联合索引/最左前缀/覆盖索引/索引下推)
-
目录1.索引基础...
- 你会看 MySQL 的执行计划(EXPLAIN)吗?
-
SQL执行太慢怎么办?我们通常会使用EXPLAIN命令来查看SQL的执行计划,然后根据执行计划找出问题所在并进行优化。用法简介...
- MySQL 从入门到精通(四)之索引结构
-
索引概述索引(index),是帮助MySQL高效获取数据的数据结构(有序),在数据之外,数据库系统还维护者满足特定查询算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构...
- mysql总结——面试中最常问到的知识点
-
mysql作为开源数据库中的榜一大哥,一直是面试官们考察的重中之重。今天,我们来总结一下mysql的知识点,供大家复习参照,看完这些知识点,再加上一些边角细节,基本上能够应付大多mysql相关面试了(...
- mysql总结——面试中最常问到的知识点(2)
-
首先我们回顾一下上篇内容,主要复习了索引,事务,锁,以及SQL优化的工具。本篇文章接着写后面的内容。性能优化索引优化,SQL中索引的相关优化主要有以下几个方面:最好是全匹配。如果是联合索引的话,遵循最...
- MySQL基础全知全解!超详细无废话!轻松上手~
-
本期内容提醒:全篇2300+字,篇幅较长,可搭配饭菜一同“食”用,全篇无废话(除了这句),干货满满,可收藏供后期反复观看。注:MySQL中语法不区分大小写,本篇中...
- 深入剖析 MySQL 中的锁机制原理_mysql 锁详解
-
在互联网软件开发领域,MySQL作为一款广泛应用的关系型数据库管理系统,其锁机制在保障数据一致性和实现并发控制方面扮演着举足轻重的角色。对于互联网软件开发人员而言,深入理解MySQL的锁机制原理...
- Java 与 MySQL 性能优化:MySQL分区表设计与性能优化全解析
-
引言在数据库管理领域,随着数据量的不断增长,如何高效地管理和操作数据成为了一个关键问题。MySQL分区表作为一种有效的数据管理技术,能够将大型表划分为多个更小、更易管理的分区,从而提升数据库的性能和可...
- MySQL基础篇:DQL数据查询操作_mysql 查
-
一、基础查询DQL基础查询语法SELECT字段列表FROM表名列表WHERE条件列表GROUPBY分组字段列表HAVING分组后条件列表ORDERBY排序字段列表LIMIT...
- MySql:索引的基本使用_mysql索引的使用和原理
-
一、索引基础概念1.什么是索引?索引是数据库表的特殊数据结构(通常是B+树),用于...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
程序员的开源月刊《HelloGitHub》第 71 期
-
详细介绍一下Redis的Watch机制,可以利用Watch机制来做什么?
-
假如有100W个用户抢一张票,除了负载均衡办法,怎么支持高并发?
-
Java面试必考问题:什么是乐观锁与悲观锁
-
如何将AI助手接入微信(打开ai手机助手)
-
redission YYDS spring boot redission 使用
-
SparkSQL——DataFrame的创建与使用
-
一文带你了解Redis与Memcached? redis与memcached的区别
-
如何利用Redis进行事务处理呢? 如何利用redis进行事务处理呢英文
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)