Redis 三种批量查询技巧(redis怎么批量获取key的值)
wptr33 2025-01-29 18:20 14 浏览
在高并发场景下,巧妙地利用缓存批量查询技巧能够显著提高系统性能。
在笔者看来,熟练掌握细粒度的缓存使用是每位架构师必备的技能。因此,在本文中,我们将深入探讨 Redis 中批量查询的一些技巧,希望能够给你带来一些启发。
1.为什么需要批量执行命令
下图展示了客户端与服务端交互的流程:
每次客户端发送一个一个请求命令,Redis 服务端接收到命令后,将命令放在队列内,一个一个命令执行,并将结果返回。
批量执行命令有三点优势:
- 提高命令执行效率
- 减少了网络延迟,从而提高了 Redis 服务器的响应速度。批量执行减少了每个命令的单独网络传输开销,有效降低了往返时间(RTT)。
- 简化客户端逻辑
- 通过将多个命令封装成一个操作,客户端的处理逻辑变得更加简洁和清晰。这使得客户端代码更易读、易维护。
- 提升事务性能
- 批量执行命令能够确保一组命令在同一时间内执行,从而提高了事务的性能。这对于需要保持原子性的操作尤为重要,确保一组命令要么全部执行成功,要么全部失败。
接下来,我们详细讲解批量查询的四种方式。
- 字符串 MGET命令
- 哈希表 HMGET命令
- 管道技术
- Lua 脚本
2.字符串 MGET命令
MGET 是 Redis 中的一个命令,用于批量获取多个字符串键的值。它接受一个或多个键作为参数,返回与这些键关联的值。
以下是一个简要的描述:
- key1, key2, ..., keyN:要获取值的键列表。
- MGET 返回一个包含相应值的列表,如果键不存在,则对应的位置返回 nil。
该命令主要用于一次性获取多个键的值,可以减少多次单独查询的开销,提高效率。
接下来,我们展示 SpringBoot 项目展示如何使用 MGET 命令。
图中,我们分别设置(key:a , b , c) 三个 key 的值,然后定义一个列表对象 keys, 列表中包含了一个不存在的键 "d"。
当我们使用 MULTIGET 命令查看结果时,发现返回的结果是一个列表对象,列表对象的大小是 4,同时第三个对象值为 NULL ,也就是键 “d” 对应的值为 nil。
3.哈希表 HMGET命令
HMGET 是 Redis 中的命令之一,用于获取哈希表中指定字段的值。
它接受一个哈希表的键以及一个或多个字段名作为参数,返回与这些字段名关联的值。以下是 HMGET 命令的基本语法:
如果给定的域不存在于哈希表,那么返回一个 nil 值。
因为不存在的 key 被当作一个空哈希表来处理,所以对一个不存在的 key 进行 HMGET 操作将返回一个只带有 nil 值的表。
接下来,我们展示 SpringBoot 项目展示如何使用 HMGET 命令。
首先分别设置键为 "myhashkey" 下的三个字段(field)的值 ,然后定义需要查询的字段集合 fields ,最后调用哈希表的 HMGET 命令。
和 MGET命令的结果类似,spring data redis 会将结果封装成 List 对象,列表对象的大小是 4,同时第三个对象值为 NULL ,因为字段 “d” 对应的值为 nil。
4.管道技术
Redis Pipeline(管道)命令是一种优化网络通信的技术,可以将多个命令一次性发送给 Redis 服务器,可以减少客户端与 Redis 服务器之间的网络通信次数。
客户端将多个命令一次性发送给 Redis 服务器,Redis 服务器缓存这些命令,并一次性执行,最后将执行结果一次性返回给客户端。
通过使用 Redis Pipeline,显而易见的好处是避免了在每个命令执行时都进行一次网络通信,从而显著降低了时间开销。
1 次 pipeline(n条命令) = 1 次网络时间 + 执行n 条命令时间
接下来,我们展示 SpringBoot 项目展示如何使用 Pipeline 管道命令。
首先分别设置三个键(key:a, b, c)的值,然后分别设置键为 "myhashkey" 下的三个字段(field)的值, 最后调用 Pipeline 执行多个命令,并获取结果。
需要注意的是:
- Redis Cluster 中 Pipeline 命令操作可能无法保证原子性!
- 由于 Redis Cluster 采用的是分片机制,这些键无法保证所有的 key 都在同一区域的哈希槽上。因此,即使使用了 Pipeline,每个命令仍可能在不同的节点上进行处理,导致多个命令的执行不在同一时刻。
- Pipeline 能执行有依赖关系的命令吗?
- 不可以。如果 Pipeline 中后一个命令的执行依赖于前一个命令的执行结果,Pipeline 无法满足这样的需求。
- Pipeline 对发送的命令有数量限制吗?
- 虽然命令可以一次性发给 Redis 服务端,但是考虑到带宽等情况,建议不要超过500个命令,或者根据实际命令的数据类型和大小进行调整。这样可以避免潜在的性能问题。
5.Lua 脚本
Redis Lua 脚本是一种在 Redis 服务器上执行的脚本语言,基于 Lua 编程语言。
这种脚本可以包含多个 Redis 命令,而且它们在 Redis 服务器上以原子性操作的方式执行。通过使用 Lua 脚本,你可以在服务器端执行一系列的 Redis 命令,而不需要将它们一条一条地发送到服务器。
Redis 执行 Lua 脚本有两种执行方式:Eval 和 EvalSHA 。
5.1 Eval
EVAL命令的执行过程主要可以分为三个步骤:
- 根据客户端提供的 Lua 脚本,在 Lua 环境中定义一个 Lua 函数。
- Lua 函数的名称实际上是以 "f_" 为前缀加上脚本本身计算出的 SHA1 值,例如 f_ddfsdfjgjbg33rndgj00,其中 SHA1 的长度为40字符。函数体则是脚本本身。
- 将客户端提供的脚本保存到 lua_scripts 字典中。简单来说,就是添加一个键值对,其中键是 Lua 脚本的 SHA1 校验和,值是 Lua 脚本本身。这主要是为了以后能够复用这个脚本。
- 执行第一步在 Lua 环境中定义的函数,从而执行客户端提供的 Lua 脚本。这个过程利用了在步骤二中保存的 SHA1 校验和来调用对应的 Lua 函数。
这个流程使得 Redis 能够高效地处理客户端提供的 Lua 脚本,同时通过缓存 SHA1 校验和,可以减少重复传输脚本的开销,提高效率。
在Redis中,使用了 Key 列表和参数列表来为Lua脚本提供更多的灵活性,执行 Eval 命令的格式为:
下图演示下 Lua 如何调用 Redis 命令 ,通过redis.call()来执行了 Redis 命令 。
5.2 EvalSHA
与 EVAL 不同,EVALSHA 的主要目的是通过脚本的 SHA1 校验和来执行预先在服务器端加载的 Lua 脚本,从而避免重复传输脚本的开销。
使用步骤:
1、加载 Lua 脚本到 Redis 服务端:
首先,将 Lua 脚本加载到 Redis 服务端。这可以通过 SCRIPT LOAD 命令完成。执行 SCRIPT LOAD 后,会返回一个 SHA1 校验和,该值唯一标识了加载的 Lua 脚本。
这会返回SHA1 校验和: a1104f2250e5dd9fc10c3c681ddb389e7bd4a2cf。
2、执行 Lua 脚本:
一旦 Lua 脚本被加载并获得了 SHA1 校验和,之后就可以使用 EVALSHA 命令来执行该脚本。
5.3 springboot例子
首先分别设置三个键(key:a, b, c)的值,然后分别设置键为 "myhashkey" 下的三个字段(field)的值, 并编写 Lua 脚本,执行 Lua 脚本并获取结果。
6 总结
本文介绍了Redis 中批量查询的四种技巧:
1、MGET(批量获取字符串值):
简单直接,适用于批量获取字符串值的场景。
2、HMGET(批量获取哈希表字段值):
适用于批量获取哈希表中的字段值,可以在一个命令中获取多个字段。
3、Pipeline(管道):
最小化网络开销,一次性发送多个不同的命令,管道中的命令按照执行顺序依次执行,减少往返时间。高并发场景下,可以显著提高性能。
4、Lua脚本:
使用 Lua 脚本的好处 :
- 减少网络开销。将多个请求通过脚本的形式一次发送,减少网络时延。
- 原子操作。Redis会将整个脚本作为一个整体执行,中间不会被其他命令插入。
- 复用。客户端发送的脚本会永久存在 Redis 中,其他客户端可以复用这一脚本而不需要使用代码完成相同的逻辑。
当然 使用 Lua 脚本也会有瑕疵,编写和维护相对复杂。
相关推荐
- VPS主机搭建Ghost环境:Nginx Node.js MariaDB
-
Ghost是一款个人博客系统,它是使用Node.js语言和MySQL数据库开发的,同时支持MySQL、MariaDB、SQLite和PostgreSQL。用户可以在支持Node.js的服务器上使用自己...
- centos7飞速搭建zabbix5.0并添加windows、linux监控
-
一、环境zabbix所在服务器系统为centos7,监控的服务器为windows2016和centos7。二、安装zabbix官方安装帮助页面...
- Zabbix5.0安装部署
-
全盘展示运行状态,减轻运维人员的重复性工作量,提高系统排错速度,加速运维知识学习积累。1.png...
- MariaDB10在CentOS7系统下,迁移数据存储位置
-
背景在CentOS7下如果没有默认安装MySQL数据库,可以选择安装MariaDB,最新的版本现在是10可以选择直接yum默认安装的方式yum-yinstallmariadbyum-yi...
- frappe项目安装过程
-
1,准备一台虚拟机,debian12或者ubuntusever22.04.3可以用virtualbox/qemu,或者你的超融合服务器安装一些常用工具和依赖库我这里选择server模式安装,用tab...
- 最新zabbix一键安装脚本(基于centos8)
-
一、环境准备注意:操作系统必须是centos8及以上的,因为我配的安装源是centos8的。并且必须连接互联网,脚本是基于yum安装的!!!...
- ip地址管理之phpIPAM保姆级安装教程 (原创)
-
本教程基于Ubuntu24.04LTS,安装phpIPAM(最新稳定版1.7),使用Apache、PHP8.3和MariaDB,遵循最佳实践,确保安全性和稳定性。一、环境准备1....
- centos7傻瓜式安装搭建zabbix5.0监控服务器教程
-
zabbix([`zaebiks])是一个基于WEB界面的提供分布式系统监视...
- zabbix7.0LTS 保姆级安装教程 小白也能轻松上手安装
-
系统环境:rockylinux9.4(yumupdate升级到最新版本)数据库:mariadb10.5.22第一步:关闭防火墙和selinux使用脚本关闭...
- ubuntu通过下载安装包安装mariadb10.4
-
要在Ubuntu18.04上安装MariaDB10.4.34,用的是那个tar.gz的安装包。步骤大概是:...
- 从0到1:基于 Linux 快速搭建高可用 MariaDB Galera 集群(实战指南)
-
在企业生产环境中,数据库的高可用性至关重要。今天带你从0到1,手把手在Linux系统上快速搭建一个高可用MariaDBGaleraCluster,实现数据库同步复制、故障自动恢复,保障业务...
- Windows 中安装 MariaDB 数据库
-
mariadb在Windows下的安装非常简单,下载程序双击运行就可以了。需要注意:mariadb和MySQL数据库在Windows下默认是不区分大小写的,但是在Linux下是区分...
- SQL执行顺序(SqlServer)
-
学习SQL这么久,如果突然有人问你SQL的执行顺是怎么样的?是不是很多人会觉得C#、JavaScript都是根据编程顺序来处理的,那么SQL也是根据编程顺序来执行的吗?...
- C# - StreamWriter与StreamReader 读写文件 101
-
读写文本文件的方式:1)File静态类的File.ReadAllLines();与File.WriteAllLines();方法进行读写...
- C#中的数组探究与学习
-
C#中的数组一般分为:...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mysql max (33)
- vba instr (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)