百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

Redis源码系列之rename讲解

wptr33 2025-01-05 20:32 17 浏览

前言

本文原创,著作权归WGrape所有,未经授权,严禁转载

一、rename原理

当使用 rename oldKey newKey 命令时,主要会执行如下两个操作

1、隐式删除newKey

由于rename操作不是renameNX,而是强制性的把旧Key名修改为新Key名。因此如果新Key名指向了数据,Redis就必先把这个数据删掉!

注 :key对应的Value抽象为memory内存

(1) 源码

在Redis中,无论执行rename还是renameNX命令,都会执行一个通用的renameGenericCommand函数,只是传递的第二个NX参数不一样而已,而client参数就是如其名,表示客户端,用于获取命令携带的参数

  • c->argv[1]表示oldKey
  • c->argv[2]表示newKey

所以核心看renameGenericCommand函数即可

如下代码中 if(lookupKeyWrite(c->db,c->argv[2]) != NULL) ,其中lookupKeyWrite 函数会返回Key所指向的内存指针,如果不为空,则说明已经有数据存储,所以紧接着就会执行删除newKey的逻辑

(2) 时间复杂度

时间复杂度为O(M) ,M为成员数量

(3) 测试

先写一个有500W成员的Hash类型的bigkey,如下图发现写入后,内存增加约400MB,删除它需要3秒左右

然后我们执行rename操作,结果如下

所以rename操作会隐式的删除newKey,且删除耗时为O(M)

2、修改指针指向

Redis有如下两种方案可以实现rename效果,第一种是数据拷贝,第二种是修改指针指向。如果采用值拷贝的方式,会增加Redis的内存峰值,且拷贝内存的时间也会增加耗时,最重要的值拷贝在Redis场景中不需要,所以Redis使用的是第二种修改指针的方式

注 :key对应的Value抽象为memory内存

(1) 源码

如下源码中,在拿到oldKey指向的内存对象(值对象)指针后,记为o,然后依次做如下操作

  • 为o引用计数加1,此时o的引用计数为2
  • 把新的键值关系(newKey => o)增加到当前DB中,相当于让newKey重新指向o
  • 删除旧的键值(oldKey => o)关系,相当于删除oldKey的指向

由于o的引用计数为2,在删除了oldKey的指向关系后,o的引用计数还是1,并不会触发GC,所以对象o所占用的内存空间仍然是有效的,不过变成了由newKey指向

(2) 时间复杂度

O(1)

3、总结

rename操作耗时为O(1)是不准确的,应该为O(M)+O(1)

  • O(M)为删除newKey的耗时,成员与删除耗时成线性关系
  • O(1)为newKey指向新内存的耗时,是常数级别,可忽略

二、rename完整过程

  1. find newKey :找到newKey所指向的值对象
  2. delete memory A :删除值对象所指向的内存
  3. find oldKey :找到oldKey所指向的值对象
  4. incrRefCount :为oldKey所指向的值对象的引用计数+1
  5. add relation :把(newKey => o)新的键值对信息加到数据库中,让newKey指向一个新的值对象
  6. delete relation :删除(oldKey => o)旧的键值对信息,让oldKey不再指向之前的值对象

注 :key对应的Value抽象为memory内存

三、关于rename的一些疑问

1、rename具有原子性吗

从源码中看,rename过程需要经过删除newKey和修改指针指向这两步,而如果第二步失败,第一步操作并不会回滚,所以不具有原子性

2、rename中的删除操作是同步的吗

从代码中可以看到是同步还是异步,完全取决于配置的DEL机制,即由lazyfree-lazy-server-del配置决定。

3、如何解决rename耗时长的问题

之前测试中发现rename操作卡了3秒,执行config get *命令,发现确实配置的删除方式为同步删除

所以解决方法有两个,要么减少Key的member成员数量,要么配置lazyfree-lazy-server-del为yes

四、结束语

本文已结束,能力有限,文章错误地方烦请指出,感谢大家的阅读

相关推荐

Python自动化脚本应用与示例(python办公自动化脚本)

Python是编写自动化脚本的绝佳选择,因其语法简洁、库丰富且跨平台兼容性强。以下是Python自动化脚本的常见应用场景及示例,帮助你快速上手:一、常见自动化场景文件与目录操作...

Python文件操作常用库高级应用教程

本文是在前面《Python文件操作常用库使用教程》的基础上,进一步学习Python文件操作库的高级应用。一、高级文件系统监控1.1watchdog库-实时文件系统监控安装与基本使用:...

Python办公自动化系列篇之六:文件系统与操作系统任务

作为高效办公自动化领域的主流编程语言,Python凭借其优雅的语法结构、完善的技术生态及成熟的第三方工具库集合,已成为企业数字化转型过程中提升运营效率的理想选择。该语言在结构化数据处理、自动化文档生成...

14《Python 办公自动化教程》os 模块操作文件与文件夹

在日常工作中,我们经常会和文件、文件夹打交道,比如将服务器上指定目录下文件进行归档,或将爬虫爬取的数据根据时间创建对应的文件夹/文件,如果这些还依靠手动来进行操作,无疑是费时费力的,这时候Pyt...

python中os模块详解(python os.path模块)

os模块是Python标准库中的一个模块,它提供了与操作系统交互的方法。使用os模块可以方便地执行许多常见的系统任务,如文件和目录操作、进程管理、环境变量管理等。下面是os模块中一些常用的函数和方法:...

21-Python-文件操作(python文件的操作步骤)

在Python中,文件操作是非常重要的一部分,它允许我们读取、写入和修改文件。下面将详细讲解Python文件操作的各个方面,并给出相应的示例。1-打开文件...

轻松玩转Python文件操作:移动、删除

哈喽,大家好,我是木头左!Python文件操作基础在处理计算机文件时,经常需要执行如移动和删除等基本操作。Python提供了一些内置的库来帮助完成这些任务,其中最常用的就是os模块和shutil模块。...

Python 初学者练习:删除文件和文件夹

在本教程中,你将学习如何在Python中删除文件和文件夹。使用os.remove()函数删除文件...

引人遐想,用 Python 获取你想要的“某个人”摄像头照片

仅用来学习,希望给你们有提供到学习上的作用。1.安装库需要安装python3.5以上版本,在官网下载即可。然后安装库opencv-python,安装方式为打开终端输入命令行。...

Python如何使用临时文件和目录(python目录下文件)

在某些项目中,有时候会有大量的临时数据,比如各种日志,这时候我们要做数据分析,并把最后的结果储存起来,这些大量的临时数据如果常驻内存,将消耗大量内存资源,我们可以使用临时文件,存储这些临时数据。使用标...

Linux 下海量文件删除方法效率对比,最慢的竟然是 rm

Linux下海量文件删除方法效率对比,本次参赛选手一共6位,分别是:rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...

Python 开发工程师必会的 5 个系统命令操作库

当我们需要编写自动化脚本、部署工具、监控程序时,熟练操作系统命令几乎是必备技能。今天就来聊聊我在实际项目中高频使用的5个系统命令操作库,这些可都是能让你效率翻倍的"瑞士军刀"。一...

Python常用文件操作库使用详解(python文件操作选项)

Python生态系统提供了丰富的文件操作库,可以处理各种复杂的文件操作需求。本教程将介绍Python中最常用的文件操作库及其实际应用。一、标准库核心模块1.1os模块-操作系统接口主要功能...

11. 文件与IO操作(文件io和网络io)

本章深入探讨Go语言文件处理与IO操作的核心技术,结合高性能实践与安全规范,提供企业级解决方案。11.1文件读写11.1.1基础操作...

Python os模块的20个应用实例(python中 import os模块用法)

在Python中,...