百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

Redis性能优化:scan命令替换keys命令的用法和原理解析

wptr33 2025-03-10 21:10 7 浏览

一、keys命令

用法

  • keys命令用于返回指定的正则表达式所匹配的所有key的列表,其所检索的是Redis当前所使用的数据库(默认为0号数据库)的所有key,用法如下:
1. *匹配数据库中所有key 
KEYS *
2. ?匹配某个字符
KEYS t?st
3. *和其他字符一起使用,如下匹配test, teest等
KEYS t*st
4. []匹配某些字符中的一个,如下匹配test或tast
KEYS t[ae]st

性能问题

  • 由于每个Redis实例是使用单线程处理所有请求的,故keys命令和其他命令都是在同一个队列排队等待执行的,如果keys命令执行时间长,则会阻塞其他命令的执行,导致性能问题。如果keys命令需要匹配非常多的key,则可能造成长期停顿。
  • 在Java中keys命令通常使用RedisTemplate来调用,如下:
String pattern = "*";
redisTemplate.keys(pattern)

二、scan命令

优化原理

  • scan命令是在2.8及之后版本提供的,主要用于解决keys命令可能导致整个Redis实例停顿的问题。
  • scan是一种迭代命令,主要是对keys命令进行了分解,即原本使用一个keys请求一次匹配获取所有符合的key的操作,分解了多次scan操作,每次scan操作返回匹配的key的一个子集,这样每个scan请求的操作时间很短,多次scan请求之间可以执行其他命令,故减少对其他命令执行的阻塞,直到最后一个scan请求发现没有数据可返回了,则操作完成,汇总该次所有scan请求的数据,从而达到与keys命令一次获取的数据相同。
  • 由于scan命令需要执行多次,即相当于执行了多个命令,存在多次命令请求和响应周期,故整体执行时间可能要比keys命令长。

用法

  • 在使用scan命令时,通常需要指定一个count参照,如下:0为游标,第二次迭代从第一次迭代返回的游标开始,COUNT为1000表示提示hint此次需要返回1000个数据,但实际并不一定,可能更多也可能更少。在多次迭代中COUNT可以指定不同的值。COUNT默认值为10.
127.0.0.1:6379> scan 0 MATCH user_* COUNT 1000
1) "0"
2) (empty list or set)
  • 游标的使用:第一次返回17,则第二次可以从17开始。
127.0.0.1:6379> scan 0
1) "17"
2)  1) "key:12"
    2) "key:8"
    3) "key:4"
    4) "key:14"
    5) "key:16"
    6) "key:17"
    7) "key:15"
    8) "key:10"
    9) "key:3"
    10) "key:7"
    11) "key:1"

127.0.0.1:6379> scan 17
1) "0"
2) 1) "key:5"
   2) "key:18"
   3) "key:0"
   4) "key:2"
   5) "key:19"
   6) "key:13"
   7) "key:6"
   8) "key:9"
   9) "key:11"

三、Java使用scan命令示例

  • 在Java中一般基于spring的RedisTemplate来进行Redis相关操作,其中RedisTemplate是线程安全的,故整个项目可以共享一个RedisTemplate实例。scan代码示例如下:
public int getTotalUsers() {
    Set allUsers = redisTemplate.execute(new RedisCallback<Set>() {
      @Override
      public Set doInRedis(RedisConnection connection) throws DataAccessException {
        Set partUers = new HashSet<>();
        // 放在try中自动释放cursor
        try (Cursor cursor = connection.scan(new ScanOptions.ScanOptionsBuilder()
                .match(RedisStorage.USER_KEY + "*").count(50000).build())) {
          while (cursor.hasNext()) {
            partUers.add(new String(cursor.next()));
          }
        } catch (IOException e) {
          LOG.error("getTotalUsers cursor close {}", e);
        }
        return partUers;
      }
    });
    return sessions.size();
}

相关推荐

用Java实现RAG的3大核心模块与7个必知细节

一、真实场景驱动:某制造企业的知识管理之痛某汽车零部件企业有超过20万份技术文档(PDF/HTML/Word),工程师每天平均花费2小时查找资料。我们为其构建的Java版RAG系统,将查询耗时缩短至1...

在 C# .NET 中从 PDF 中提取表数据

概述:...

【分享】教你如何使用 Java 读取 Excel、docx、pdf 和 txt 文件

在Java开发中,我们经常需要读取不同类型的文件,包括Excel表格文件、"doc"和"docx"文档文件、PDF文件以及纯文本文件。其中最常用的是A...

Spring AI 模块架构与功能解析

SpringAI是Spring生态系统中的一个新兴模块,专注于简化人工智能和机器学习技术在Spring应用程序中的集成。本文将详细介绍SpringAI的核心组件、功能模块及其之间的关...

告别付费!一站式服务,PDF多功能工具!

大家好,我是Java陈序员。今天,给大家介绍一个PDF多功能在线操作工具,完全免费开源!...

本地PDF操作神器:永久告别盗版和破解,再也不用担心安全问题

前言PDF(便携式文档格式)目前已经成为了文档交换和存储的标准。然而,找到一个功能全面、安全可靠、且完全本地化的PDF处理工具并不容易。...

Python rembg 库去除图片背景

rembg是一个强大的Python库,用于自动去除图片背景。它基于深度学习模型(如U^2-Net),能够高效地将前景物体从背景中分离,生成透明背景的PNG图像。本教程将带你从安装到实际应用...

31个必备的python字符串方法,建议收藏

字符串是Python中基本的数据类型,几乎在每个Python程序中都会使用到它。...

python学习day1——输出格式化

print一般在控制台中我们用print进行输出,默认情况下,使用格式为:print(*objects,sep='',end='\n')第一个参数是我们要在控制台...

一张图认识Python(附基本语法总结)

一张图认识Python(附基本语法总结)一张图带你了解Python,更快入门,一张图认识Python(附基本语法总结)Python基础语法总结:1.Python标识符在Python里,标识符有字...

学习编程第188天 python编程 字典格式化

今天学习的是刘金玉老师零基础Python教程第84期,主要内容是python字典格式化。...

Python基础数据类型转换

Python中的基础数据类型转换可以分为隐式转换和显示转换。隐式转换是python解释器自动转换,显示转换是通过内置函数实现。无论哪种方式进行的转换,均为转换为对应类型的数据,而非改变原数据的类型。...

python之json基本操作

1.概述JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式,它具有简洁、清晰的层次结构,易于阅读和编写,还可以有效的提升网络传输效率。Python标准库的...

Python之迭代器及其用法

前面章节中,已经对列表(list)、元组(tuple)、字典(dict)、集合(set)这些序列式容器做了详细的介绍。值得一提的是,这些序列式容器有一个共同的特性,它们都支持使用for循环遍历存储...

从初始化一个现代 python项目学习到的东西

uv我准备用uv初始化一个python项目环境我用的是苹果笔记本MacBookPro,具体的操作系统及硬件参数如下:...