百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

redis Scan 踩坑记 key的模糊匹配

wptr33 2025-03-10 21:11 9 浏览

scan 命令和 keys的区别

首先我们先说说keys命令

KEYS * 匹配数据库中所有 key 。
KEYS h?llo 匹配 hello , hallo 和 hxllo 等。
KEYS h*llo 匹配 hllo 和 heeeeello 等。
KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo 
特殊符号用 \ 隔开
时间复杂度:
O(N), N 为数据库中 key 的数量。
返回值:
符合给定模式的 key 列表。

首先 keys 是阻塞式命令 redis的命令执行是单线程的,同一时间只能执行单个命令。这也就造成了生产环境如果使用这个命令会造成 阻塞,其他的服务不能调用redis 严重点 服务可能会挂掉。

scan 命令

SCAN cursor [MATCH pattern] [COUNT count]
SCAN 命令用于迭代当前数据库中的数据库键。
SSCAN 命令用于迭代集合键中的元素。
HSCAN 命令用于迭代哈希键中的键值对。
ZSCAN 命令用于迭代有序集合中的元素(包括元素成员和元素分值)。
  1. 以上列出的四个命令都支持增量式迭代, 它们每次执行都只会返回少量元素, 所以这些命令可以用于生产环境, 而不会出现像 KEYS 命令、 SMEMBERS 命令带来的问题 —— 当 KEYS 命令被用于处理一个大的数据库时, 又或者 SMEMBERS 命令被用于处理一个大的集合键时, 它们可能会阻塞服务器达数秒之久。不过, 增量式迭代命令也不是没有缺点的: 举个例子, 使用 SMEMBERS 命令可以返回集合键当前包含的所有元素, 但是对于 SCAN 这类增量式迭代命令来说, 因为在对键进行增量式迭代的过程中, 键可能会被修改, 所以增量式迭代命令只能对被返回的元素提供有限的保证(offer limited guarantees about the returned elements)。
  2. 因为 SCAN 、 SSCAN 、 HSCAN 和 ZSCAN 四个命令的工作方式都非常相似, 所以这个文档会一并介绍这四个命令, 但是要记住: SSCAN 命令、 HSCAN 命令和 ZSCAN 命令的第一个参数总是一个数据库键。 而 SCAN 命令则不需要在第一个参数提供任何数据库键 —— 因为它迭代的是当前数据库中的所有数据库键。
SCAN 命令是一个基于游标的迭代器(cursor based iterator): 
SCAN 命令每次被调用之后, 都会向用户返回一个新的游标, 
用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数, 以此来延续之前的迭代过程。

当 SCAN 命令的游标参数被设置为 0 时, 服务器将开始一次新的迭代, 
而当服务器向用户返回值为 0 的游标时, 表示迭代已结束

SCAN 命令的基本用法

SCAN cursor [MATCH pattern] [COUNT count]

cursor :游标位置 pattern:匹配的值 count:每次渐进的值并不是返回结果的数量 也可以理解为每次扫描的值这个 值也并不是越大越好,测 试中500w数据 设置为15000时效率最好。

  1. 注意 :Count 参数越大,Redis 阻塞时间也会越长,需要取舍。开始不知道直接设置了Integer.MAX_VALUE 结果上线直接凉凉堵塞死
  2. 并且返回的值中会存在重复的key 且是无序的 所以要注意去重。
    public void setRedisinfo() {
        ScanOptions scanOptions = new ScanOptions.ScanOptionsBuilder()
                .match("*B*")
                .count(15000).build();
        Cursor<Map.Entry> searchkey = redisTemplate.opsForHash().scan("searchkey", scanOptions);
        while (searchkey.hasNext()){
            Map.Entry next = searchkey.next();
            log.info(next.getKey()+":"+next.getValue());
        }
    }

redis 中的数据 匹配 B

下面我们说一下 redis 的模糊匹配 并且 忽略大小写

redis 是支持 正则的 但是 只支持 通配符的方式 : [Aa][Bb][Cc]

	//这里返回  [Aa][Bb][Cc]
    public static String UnA(String string){
        char[] charArr=string.toCharArray();
        String res="";
        for (char c : charArr) {
            if(check(c)){
               String ups=String.valueOf(c).toUpperCase();
               String lows=String.valueOf(c).toLowerCase();
                res+="["+ups+""+lows+"]";
            }
        }
        return res;
    }
    public static boolean check(char c) {
        if (((c >= 'a' && c <= z c>= 'A' && c <= 'Z'))) {
            return true;
        } else {
            return false;
        }
    }

我们测试下忽略大小写 匹配 B b

@Test
    public void setRedisinfo() {
        ScanOptions scanOptions = new ScanOptions.ScanOptionsBuilder()
                //.match("*观八虏铰惑*")
                .match("*"+UnA("B")+"*")
                .count(15000).build();
        Cursor<Map.Entry> searchkey = redisTemplate.opsForHash().scan("searchkey", scanOptions);
        while (searchkey.hasNext()){
            Map.Entry next = searchkey.next();
            log.info(next.getKey()+":"+next.getValue());
        }
        log.info(searchkey.toString());
    }

获取到的结果


另外redis 的其他命令可以去 doc.redisfans.com/ 这里查看

ok 坑就踩到这。。。下一个坑见!

作者:青衣画白扇
链接:
https://juejin.cn/post/7091098560111837221

相关推荐

用Java实现RAG的3大核心模块与7个必知细节

一、真实场景驱动:某制造企业的知识管理之痛某汽车零部件企业有超过20万份技术文档(PDF/HTML/Word),工程师每天平均花费2小时查找资料。我们为其构建的Java版RAG系统,将查询耗时缩短至1...

在 C# .NET 中从 PDF 中提取表数据

概述:...

【分享】教你如何使用 Java 读取 Excel、docx、pdf 和 txt 文件

在Java开发中,我们经常需要读取不同类型的文件,包括Excel表格文件、"doc"和"docx"文档文件、PDF文件以及纯文本文件。其中最常用的是A...

Spring AI 模块架构与功能解析

SpringAI是Spring生态系统中的一个新兴模块,专注于简化人工智能和机器学习技术在Spring应用程序中的集成。本文将详细介绍SpringAI的核心组件、功能模块及其之间的关...

告别付费!一站式服务,PDF多功能工具!

大家好,我是Java陈序员。今天,给大家介绍一个PDF多功能在线操作工具,完全免费开源!...

本地PDF操作神器:永久告别盗版和破解,再也不用担心安全问题

前言PDF(便携式文档格式)目前已经成为了文档交换和存储的标准。然而,找到一个功能全面、安全可靠、且完全本地化的PDF处理工具并不容易。...

Python rembg 库去除图片背景

rembg是一个强大的Python库,用于自动去除图片背景。它基于深度学习模型(如U^2-Net),能够高效地将前景物体从背景中分离,生成透明背景的PNG图像。本教程将带你从安装到实际应用...

31个必备的python字符串方法,建议收藏

字符串是Python中基本的数据类型,几乎在每个Python程序中都会使用到它。...

python学习day1——输出格式化

print一般在控制台中我们用print进行输出,默认情况下,使用格式为:print(*objects,sep='',end='\n')第一个参数是我们要在控制台...

一张图认识Python(附基本语法总结)

一张图认识Python(附基本语法总结)一张图带你了解Python,更快入门,一张图认识Python(附基本语法总结)Python基础语法总结:1.Python标识符在Python里,标识符有字...

学习编程第188天 python编程 字典格式化

今天学习的是刘金玉老师零基础Python教程第84期,主要内容是python字典格式化。...

Python基础数据类型转换

Python中的基础数据类型转换可以分为隐式转换和显示转换。隐式转换是python解释器自动转换,显示转换是通过内置函数实现。无论哪种方式进行的转换,均为转换为对应类型的数据,而非改变原数据的类型。...

python之json基本操作

1.概述JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式,它具有简洁、清晰的层次结构,易于阅读和编写,还可以有效的提升网络传输效率。Python标准库的...

Python之迭代器及其用法

前面章节中,已经对列表(list)、元组(tuple)、字典(dict)、集合(set)这些序列式容器做了详细的介绍。值得一提的是,这些序列式容器有一个共同的特性,它们都支持使用for循环遍历存储...

从初始化一个现代 python项目学习到的东西

uv我准备用uv初始化一个python项目环境我用的是苹果笔记本MacBookPro,具体的操作系统及硬件参数如下:...