百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

Redis批量查询的四种技巧,应对高并发场景的利器!

wptr33 2025-01-29 18:20 18 浏览

在高并发场景下,巧妙地利用缓存批量查询技巧能够显著提高系统性能。

在笔者看来,熟练掌握细粒度的缓存使用是每位架构师必备的技能。因此,在本文中,我们将深入探讨 Redis 中批量查询的一些技巧,希望能够给你带来一些启发。

1.为什么需要批量执行命令

下图展示了客户端与服务端交互的流程:

每次客户端发送一个一个请求命令,Redis 服务端接收到命令后,将命令放在队列内,一个一个命令执行,并将结果返回。

批量执行命令有三点优势:

  • 提高命令执行效率
  • 减少了网络延迟,从而提高了 Redis 服务器的响应速度。批量执行减少了每个命令的单独网络传输开销,有效降低了往返时间(RTT)。
  • 简化客户端逻辑
  • 通过将多个命令封装成一个操作,客户端的处理逻辑变得更加简洁和清晰。这使得客户端代码更易读、易维护。
  • 提升事务性能
  • 批量执行命令能够确保一组命令在同一时间内执行,从而提高了事务的性能。这对于需要保持原子性的操作尤为重要,确保一组命令要么全部执行成功,要么全部失败。

接下来,我们详细讲解批量查询的四种方式。

  • 字符串 MGET命令
  • 哈希表 HMGET命令
  • 管道技术
  • Lua 脚本

2.字符串 MGET命令

MGET 是 Redis 中的一个命令,用于批量获取多个字符串键的值。它接受一个或多个键作为参数,返回与这些键关联的值。

以下是一个简要的描述:

  • key1, key2, ..., keyN:要获取值的键列表。
  • MGET 返回一个包含相应值的列表,如果键不存在,则对应的位置返回 nil

该命令主要用于一次性获取多个键的值,可以减少多次单独查询的开销,提高效率。

接下来,我们展示 SpringBoot 项目展示如何使用 MGET 命令。

图中,我们分别设置(key:a , b , c) 三个 key 的值,然后定义一个列表对象 keys, 列表中包含了一个不存在的键 "d"。

当我们使用 MULTIGET 命令查看结果时,发现返回的结果是一个列表对象,列表对象的大小是 4,同时第三个对象值为 NULL ,也就是键 “d” 对应的值为 nil

3.哈希表 HMGET命令

HMGET 是 Redis 中的命令之一,用于获取哈希表中指定字段的值。

它接受一个哈希表的键以及一个或多个字段名作为参数,返回与这些字段名关联的值。以下是 HMGET 命令的基本语法:

如果给定的域不存在于哈希表,那么返回一个 nil 值。

因为不存在的 key 被当作一个空哈希表来处理,所以对一个不存在的 key 进行 HMGET 操作将返回一个只带有 nil 值的表。

接下来,我们展示 SpringBoot 项目展示如何使用 HMGET 命令。

首先分别设置键为 "myhashkey" 下的三个字段(field)的值 ,然后定义需要查询的字段集合 fields ,最后调用哈希表的 HMGET 命令。

和 MGET命令的结果类似,spring data redis 会将结果封装成 List 对象,列表对象的大小是 4,同时第三个对象值为 NULL ,因为字段 “d” 对应的值为 nil

4.管道技术

Redis Pipeline(管道)命令是一种优化网络通信的技术,可以将多个命令一次性发送给 Redis 服务器,可以减少客户端与 Redis 服务器之间的网络通信次数。

客户端将多个命令一次性发送给 Redis 服务器,Redis 服务器缓存这些命令,并一次性执行,最后将执行结果一次性返回给客户端。

通过使用 Redis Pipeline,显而易见的好处是避免了在每个命令执行时都进行一次网络通信,从而显著降低了时间开销。

1 次 pipeline(n条命令) = 1 次网络时间 + 执行n 条命令时间

接下来,我们展示 SpringBoot 项目展示如何使用 Pipeline 管道命令。

首先分别设置三个键(key:a, b, c)的值,然后分别设置键为 "myhashkey" 下的三个字段(field)的值, 最后调用 Pipeline 执行多个命令,并获取结果。

需要注意的是:

  1. Redis Cluster 中 Pipeline 命令操作可能无法保证原子性!
  2. 由于 Redis Cluster 采用的是分片机制,这些键无法保证所有的 key 都在同一区域的哈希槽上。因此,即使使用了 Pipeline,每个命令仍可能在不同的节点上进行处理,导致多个命令的执行不在同一时刻。
  3. Pipeline 能执行有依赖关系的命令吗?
  4. 不可以。如果 Pipeline 中后一个命令的执行依赖于前一个命令的执行结果,Pipeline 无法满足这样的需求。
  5. Pipeline 对发送的命令有数量限制吗?
  6. 虽然命令可以一次性发给 Redis 服务端,但是考虑到带宽等情况,建议不要超过500个命令,或者根据实际命令的数据类型和大小进行调整。这样可以避免潜在的性能问题。

5.Lua 脚本

Redis Lua 脚本是一种在 Redis 服务器上执行的脚本语言,基于 Lua 编程语言。

这种脚本可以包含多个 Redis 命令,而且它们在 Redis 服务器上以原子性操作的方式执行。通过使用 Lua 脚本,你可以在服务器端执行一系列的 Redis 命令,而不需要将它们一条一条地发送到服务器。

Redis 执行 Lua 脚本有两种执行方式:EvalEvalSHA

5.1 Eval

EVAL命令的执行过程主要可以分为三个步骤:

  1. 根据客户端提供的 Lua 脚本,在 Lua 环境中定义一个 Lua 函数。
  2. Lua 函数的名称实际上是以 "f_" 为前缀加上脚本本身计算出的 SHA1 值,例如 f_ddfsdfjgjbg33rndgj00,其中 SHA1 的长度为40字符。函数体则是脚本本身。
  3. 将客户端提供的脚本保存到 lua_scripts 字典中。简单来说,就是添加一个键值对,其中键是 Lua 脚本的 SHA1 校验和,值是 Lua 脚本本身。这主要是为了以后能够复用这个脚本。
  4. 执行第一步在 Lua 环境中定义的函数,从而执行客户端提供的 Lua 脚本。这个过程利用了在步骤二中保存的 SHA1 校验和来调用对应的 Lua 函数。

这个流程使得 Redis 能够高效地处理客户端提供的 Lua 脚本,同时通过缓存 SHA1 校验和,可以减少重复传输脚本的开销,提高效率。

在Redis中,使用了 Key 列表和参数列表来为Lua脚本提供更多的灵活性,执行 Eval 命令的格式为:

下图演示下 Lua 如何调用 Redis 命令 ,通过redis.call()来执行了 Redis 命令 。

5.2 EvalSHA

EVAL 不同,EVALSHA 的主要目的是通过脚本的 SHA1 校验和来执行预先在服务器端加载的 Lua 脚本,从而避免重复传输脚本的开销。

使用步骤:

1、加载 Lua 脚本到 Redis 服务端:

首先,将 Lua 脚本加载到 Redis 服务端。这可以通过 SCRIPT LOAD 命令完成。执行 SCRIPT LOAD 后,会返回一个 SHA1 校验和,该值唯一标识了加载的 Lua 脚本。

这会返回SHA1 校验和: a1104f2250e5dd9fc10c3c681ddb389e7bd4a2cf

2、执行 Lua 脚本:

一旦 Lua 脚本被加载并获得了 SHA1 校验和,之后就可以使用 EVALSHA 命令来执行该脚本。

5.3 springboot例子

首先分别设置三个键(key:a, b, c)的值,然后分别设置键为 "myhashkey" 下的三个字段(field)的值, 并编写 Lua 脚本,执行 Lua 脚本并获取结果。

6 总结

本文介绍了Redis 中批量查询的四种技巧:

1、MGET(批量获取字符串值):

简单直接,适用于批量获取字符串值的场景。

2、HMGET(批量获取哈希表字段值):

适用于批量获取哈希表中的字段值,可以在一个命令中获取多个字段。

3、Pipeline(管道):

最小化网络开销,一次性发送多个不同的命令,管道中的命令按照执行顺序依次执行,减少往返时间。高并发场景下,可以显著提高性能。

4、Lua脚本:

使用 Lua 脚本的好处 :

  • 减少网络开销。将多个请求通过脚本的形式一次发送,减少网络时延。
  • 原子操作。Redis会将整个脚本作为一个整体执行,中间不会被其他命令插入。
  • 复用。客户端发送的脚本会永久存在 Redis 中,其他客户端可以复用这一脚本而不需要使用代码完成相同的逻辑。

当然 使用 Lua 脚本也会有瑕疵,编写和维护相对复杂。

相关推荐

Linux文件系统操作常用命令(linux文件内容操作命令)

在Linux系统中,有一些常用的文件系统操作命令,以下是这些命令的介绍和作用:#切换目录,其中./代表当前目录,../代表上一级目录cd#查看当前目录里的文件和文件夹ls#...

别小看tail 命令,它难倒了技术总监

我把自己以往的文章汇总成为了Github,欢迎各位大佬star...

lnav:基于 Linux 的高级控制台日志文件查看器

lnav是一款开源的控制台日志文件查看器,专为Linux和Unix-like系统设计。它通过自动检测日志文件的格式,提取时间戳、日志级别等关键信息,并将多个日志文件的内容按时间顺序合并显示,...

声明式与命令式代码(声明模式和命令模式)

编程范式中的术语和差异信不信由你,你可能已经以开发人员的身份使用了多种编程范例。因为没有什么比用编程理论招待朋友更有趣的了,所以这篇文章可以帮助您认识代码中的流行范例。命令式编程命令式编程是我们从As...

linux中的常用命令(linux常用命令和作用)

linux中的常用命令linux中的命令统称shell命令shell是一个命令行解释器,将用户命令解析为操作系统所能理解的指令,实现用户与操作系统的交互shell终端:我们平时输入命令,执行程序的那个...

提高工作效率的--Linux常用命令,能够决解95%以上的问题

点击上方关注,第一时间接受干货转发,点赞,收藏,不如一次关注评论区第一条注意查看回复:Linux命令获取linux常用命令大全pdf+Linux命令行大全pdf...

如何限制他人操作自己的电脑?(如何控制别人的电脑不让发现)

这段时间,小猪罗志祥正处于风口浪尖,具体是为啥?还不知道的小伙伴赶紧去补一下最近的娱乐圈八卦~简单来说,就是我们的小罗同事,以自己超强的体力,以及超强的时间管理能力,重新定义了「多人运动」的含义,重新...

最通俗易懂的命令模式讲解(命令模式百科)

我们先不讲什么是命令模式,先通过一个场景来引出命令模式,看看命令模式能解决什么样的问题。现在有一个渣男张三,他有还几个女朋友,你现在是不是还是单身狗,你就说你气不气?然后他需要每天分别叫几个女朋友起床...

互联网大厂后端必看!Spring Boot 中Runtime执行与停止命令?

你是否曾在使用SpringBoot开发项目时,遇到需要执行系统命令的场景?比如调用脚本进行文件处理,又或是启动外部程序?很多后端开发人员会使用Processexec=Runtime.get...

Linux 常用命令(linux常用的20个命令面试)

日志排查类操作命令...

Java字节码指令:if_icmpgt(0xA3)(java字节码使用的汇编语言)

if_icmpgt是Java字节码中的一条条件跳转指令,其全称是"IfIntegerCompareGreaterThan"。它用于比较两个整数值的大小。如果栈顶的第一个...

外贸干货|如何增加领英的曝光量和询盘

#跨境电商#...

golang执行linux命令(golang调用shell脚本)

需求需要通过openssl生成rsa秘钥,然后保存该秘钥。代码实例packagemainimport("io/ioutil""bytes"&...

LINUX磁盘挂载(linux磁盘挂载到windows)

1、使用root用户查看磁盘挂载情况:fdisk-l2、使用df查看当前磁盘挂载情况,根据和fdisk-l的结果进行对比,查看还有那些磁盘未使用3、挂载:mount磁盘挂载路径...

Linux命令学习——nl命令(linux ln命令的使用)

nl命令主要功能为每一个文件添加行号,每一个输入的文件添加行号后发送到标准输出。当没有文件或文件为-时,读取标准输入...