百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

利用 Redis 集合计算新增用户和次日留存率

wptr33 2024-12-18 17:32 28 浏览

假设你负责一个 SaaS 平台的用户行为统计分析。平台通过用户的机器码来标识每个用户。为了评估平台的增长和用户活跃度,我们需要计算以下两个指标:

1、新增用户数:在某一时间段(例如一天)内,首次登录应用的用户数量。

2、次日留存率:即当天新增的用户,在第二天是否仍然登录应用,计算公式为:

这些计算需要对大量用户数据进行统计。如果直接通过传统的 SQL 语句查询,效率将变得非常低。为了提高效率,我们可以通过 Redis 的集合(Set)操作来完成这些任务。

步骤分析

1. 将所有出现过的用户机器码存储在 Redis 中

首先,我们需要将历史数据中所有出现过的用户机器码存储到 Redis 的集合中。假设你有多个日期的用户数据,每天的用户机器码是不同的。你可以通过类似如下的 SQL 查询来获取每一天的机器码:

SELECT DISTINCT(user_device) FROM `statistic_20241201`;
SELECT DISTINCT(user_device) FROM `statistic_20241202`;...

将这些机器码存储在 Redis 的集合 user_device 中:

$redis->sadd('user_device', '6ab3d84ace678644f44645');  // 添加机器码

user_device 集合中的元素是所有曾经登录过应用的用户机器码。

2. 计算当天新增的用户机器码

接下来,我们需要获取当天新增的用户机器码。假设今天是 2024 年 12 月 3 日,我们通过 SQL 查询获取 12 月 3 日的机器码:

SELECT DISTINCT(user_device) FROM `statistic_20241203`;

将这些机器码存储在 Redis 的临时集合 tmp_20241203 中:

$redis->sadd('tmp_20241203', '5a6vhbb84ace678fgv44f44645');  // 添加机器码

3. 获取新增用户(当天首次登录的用户)

我们可以通过 Redis 的 sdiffstore 命令来计算 user_device 集合和 tmp_20241203 集合的差集。差集就是当天首次登录的机器码,即 2024 年 12 月 3 日的新增用户。

$redis->sdiffstore('new_20241203', 'user_device', 'tmp_20241203');

此时,new_20241203 集合中的元素就是 12 月 3 日新增的用户机器码。为了防止占用内存过多,给这个集合设置 1 天的过期时间:

$redis->expire('new_20241203', 86400);  // 86400秒 = 1天

4. 计算新增用户数量

使用 Redis 的 SCARD 命令获取 new_20241203 集合中的元素数量,这个数量就是 2024 年 12 月 3 日的新增用户数:

$new_user_count = $redis->scard('new_20241203');

5. 合并当天的机器码到 user_device集合中

为了确保历史数据不断更新,我们需要将当天出现的所有机器码合并进 user_device 集合中。这可以通过 Redis 的 sunionstore 命令实现:

$redis->sunionstore('user_device', 'user_device', 'tmp_20241203');

然后删除临时集合 tmp_20241203,以释放内存:

$redis->del('tmp_20241203');

6. 计算次日留存率

为了计算 12 月 3 日新增用户的次日留存率,我们需要查看 12 月 4 日新增的用户机器码。假设 12 月 4 日的用户机器码通过 SQL 查询获得:

SELECT DISTINCT(user_device) FROM `statistic_20241204`;

将这些机器码存储到临时集合 tmp_20241204 中:

$redis->sadd('tmp_20241204', '5a6vhbb84ace678fgv44f44645');

然后,使用 Redis 的 sinterstore 命令计算 new_20241203tmp_20241204 集合的交集,即 12 月 3 日新增用户中,12 月 4 日仍然活跃的用户机器码:

$redis->sinterstore('next_day_retention', 'new_20241203', 'tmp_20241204');

此时,next_day_retention 集合中包含的是次日留存的用户机器码。

7. 计算次日留存的用户数和留存率

使用 SCARD 命令获取 next_day_retention 集合中的元素数量,这就是 12 月 3 日新增用户中,12 月 4 日仍然活跃的用户数:

$next_day_retention_count = $redis->scard('next_day_retention');

然后,通过除法计算次日留存率:

$next_day_retention_rate = $next_day_retention_count / $new_user_count;

总结

通过 Redis 集合的差集(sdiffstore)、并集(sunionstore)和交集(sinterstore)操作,我们能够高效地计算新增用户数和次日留存率,避免了在大数据量下使用 SQL 查询的性能瓶颈。

利用 Redis 的集合操作,不仅提升了计算效率,还大大减少了对数据库的压力。

优势总结

  1. 高效存储和计算:Redis 集合操作能在内存中快速进行集合的交集、并集和差集计算,适合处理海量数据。
  2. 简单易用:Redis 提供了丰富的集合操作命令,可以轻松完成复杂的统计任务。
  3. 扩展性强:随着用户量和数据量的增长,Redis 能够通过简单的命令和机制处理大规模数据。

通过这种方法,我们可以大幅提升数据处理效率,特别适合于高并发、高频次的实时统计需求。

相关推荐

MySQL进阶五之自动读写分离mysql-proxy

自动读写分离目前,大量现网用户的业务场景中存在读多写少、业务负载无法预测等情况,在有大量读请求的应用场景下,单个实例可能无法承受读取压力,甚至会对业务产生影响。为了实现读取能力的弹性扩展,分担数据库压...

Postgres vs MySQL_vs2022连接mysql数据库

...

3分钟短文 | Laravel SQL筛选两个日期之间的记录,怎么写?

引言今天说一个细分的需求,在模型中,或者使用laravel提供的EloquentORM功能,构造查询语句时,返回位于两个指定的日期之间的条目。应该怎么写?本文通过几个例子,为大家梳理一下。学习时...

一文由浅入深带你完全掌握MySQL的锁机制原理与应用

本文将跟大家聊聊InnoDB的锁。本文比较长,包括一条SQL是如何加锁的,一些加锁规则、如何分析和解决死锁问题等内容,建议耐心读完,肯定对大家有帮助的。为什么需要加锁呢?...

验证Mysql中联合索引的最左匹配原则

后端面试中一定是必问mysql的,在以往的面试中好几个面试官都反馈我Mysql基础不行,今天来着重复习一下自己的弱点知识。在Mysql调优中索引优化又是非常重要的方法,不管公司的大小只要后端项目中用到...

MySQL索引解析(联合索引/最左前缀/覆盖索引/索引下推)

目录1.索引基础...

你会看 MySQL 的执行计划(EXPLAIN)吗?

SQL执行太慢怎么办?我们通常会使用EXPLAIN命令来查看SQL的执行计划,然后根据执行计划找出问题所在并进行优化。用法简介...

MySQL 从入门到精通(四)之索引结构

索引概述索引(index),是帮助MySQL高效获取数据的数据结构(有序),在数据之外,数据库系统还维护者满足特定查询算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构...

mysql总结——面试中最常问到的知识点

mysql作为开源数据库中的榜一大哥,一直是面试官们考察的重中之重。今天,我们来总结一下mysql的知识点,供大家复习参照,看完这些知识点,再加上一些边角细节,基本上能够应付大多mysql相关面试了(...

mysql总结——面试中最常问到的知识点(2)

首先我们回顾一下上篇内容,主要复习了索引,事务,锁,以及SQL优化的工具。本篇文章接着写后面的内容。性能优化索引优化,SQL中索引的相关优化主要有以下几个方面:最好是全匹配。如果是联合索引的话,遵循最...

MySQL基础全知全解!超详细无废话!轻松上手~

本期内容提醒:全篇2300+字,篇幅较长,可搭配饭菜一同“食”用,全篇无废话(除了这句),干货满满,可收藏供后期反复观看。注:MySQL中语法不区分大小写,本篇中...

深入剖析 MySQL 中的锁机制原理_mysql 锁详解

在互联网软件开发领域,MySQL作为一款广泛应用的关系型数据库管理系统,其锁机制在保障数据一致性和实现并发控制方面扮演着举足轻重的角色。对于互联网软件开发人员而言,深入理解MySQL的锁机制原理...

Java 与 MySQL 性能优化:MySQL分区表设计与性能优化全解析

引言在数据库管理领域,随着数据量的不断增长,如何高效地管理和操作数据成为了一个关键问题。MySQL分区表作为一种有效的数据管理技术,能够将大型表划分为多个更小、更易管理的分区,从而提升数据库的性能和可...

MySQL基础篇:DQL数据查询操作_mysql 查

一、基础查询DQL基础查询语法SELECT字段列表FROM表名列表WHERE条件列表GROUPBY分组字段列表HAVING分组后条件列表ORDERBY排序字段列表LIMIT...

MySql:索引的基本使用_mysql索引的使用和原理

一、索引基础概念1.什么是索引?索引是数据库表的特殊数据结构(通常是B+树),用于...