百度360必应搜狗淘宝本站头条
mysql distinctjenkins官网mysql 子查询vba splitpython list sort
当前位置：网站首页 > IT技术 > 正文

MySQL 去重的简单介绍 3 种方法?，还有谁不会?

wptr33 2024-11-09 15:00 22 浏览

在使用SQL提数的时候，常会遇到表内有重复值的时候，比如我们想得到 uv （独立访客），就需要做去重。

在 MySQL 中通常是使用 distinct 或 group by子句，但在支持窗口函数的 sql（如Hive SQL、Oracle等等） 中还可以使用 row_number 窗口函数进行去重。

举个栗子，现有这样一张表 task：

备注：

  • task_id: 任务id;
  • order_id: 订单id;
  • start_time: 开始时间

注意：一个任务对应多条订单

我们需要求出任务的总数量，因为 task_id 并非唯一的，所以需要去重：

distinct

-- 列出 task_id 的所有唯一值（去重后的记录）

-- select distinct task_id

-- from Task;

-- 任务总数

select count(distinct task_id) task_num

from Task;

distinct 通常效率较低。它不适合用来展示去重后具体的值，一般与 count 配合用来计算条数。

distinct 使用中，放在 select 后边，对后面所有的字段的值统一进行去重。比如distinct后面有两个字段，那么 1,1 和 1,2 这两条记录不是重复值 。

group by

-- 列出 task_id 的所有唯一值（去重后的记录,null也是值）

-- select task_id

-- from Task

-- group by task_id;

-- 任务总数

select count(task_id) task_num

from (select task_id

from Task

group by task_id) tmp;

row_number

row_number 是窗口函数，语法如下：

row_number() over (partition by <用于分组的字段名> order by <用于组内排序的字段名>)

其中 partition by 部分可省略。

此外，再借助一个表 test 来理理 distinct 和 group by 在去重中的使用：

-- 下方的分号;用来分隔行

select distinct user_id

from Test; -- 返回 1; 2

select distinct user_id, user_type

from Test; -- 返回1, 1; 1, 2; 2, 1

select user_id

from Test

group by user_id; -- 返回1; 2

select user_id, user_type

from Test

group by user_id, user_type; -- 返回1, 1; 1, 2; 2, 1

select user_id, user_type

from Test

group by user_id;

-- Hive、Oracle等会报错，mysql可以这样写。

-- 返回1, 1 或 1, 2 ; 2, 1（共两行）。只会对group by后面的字段去重，就是说最后返回的记录数等于上一段sql的记录数，即2条

-- 没有放在group by 后面但是在select中放了的字段，只会返回一条记录（好像通常是第一条，应该是没有规律的）

相关推荐

Linux高性能服务器设计

C10K和C10M计算机领域的很多技术都是需求推动的，上世纪90年代，由于互联网的飞速发展，网络服务器无法支撑快速增长的用户规模。1999年，DanKegel提出了著名的C10问题：一台服务器上同时...

独立游戏开发者常犯的十大错误

...

学C了一头雾水该咋办?

学C了一头雾水该怎么办？最简单的方法就是你再学一遍呗。俗话说熟能生巧，铁杵也能磨成针。但是一味的为学而学，这个好像没什么卵用。为什么学了还是一头雾水，重点就在这，找出为什么会这个样子？１、概念理解不深...

C++基础语法梳理:inline 内联函数!虚函数可以是内联函数吗?

上节我们分析了C++基础语法的const，static以及this指针，那么这节内容我们来看一下inline内联函数吧！inline内联函数...

C语言实战小游戏:井字棋(三子棋)大战!文内含有源码

井字棋是黑白棋的一种。井字棋是一种民间传统游戏，又叫九宫棋、圈圈叉叉、一条龙、三子旗等。将正方形对角线连起来，相对两边依次摆上三个双方棋子，只要将自己的三个棋子走成一条线，对方就算输了。但是，有很多时...

C++语言到底是不是C语言的超集之一

C与C++两个关系亲密的编程语言，它们本质上是两中语言，只是C++语言设计时要求尽可能的兼容C语言特性，因此C语言中99%以上的功能都可以使用C++完成。本文探讨那些存在于C语言中的特性，但是在C++...

在C++中，如何避免出现Bug?

C++中的主要问题之一是存在大量行为未定义或对程序员来说意外的构造。我们在使用静态分析器检查各种项目时经常会遇到这些问题。但正如我们所知，最佳做法是在编译阶段尽早检测错误。让我们来看看现代C++中的一...

ESL-通过事件控制FreeSWITCH

通过事件提供的最底层控制机制，允许我们有效地利用工具箱，适时选择使用其中的单个工具。FreeSWITCH是一个核心交换与混合矩阵，它周围有几十个模块提供各种功能特性。我们完全控制了所有的即时信息，这些...

物理老师教你学C++语言(中篇)

一、条件语句与实验判断...

C语言入门指南

当然！以下是关于C语言入门编程的基础介绍和入门建议，希望能帮你顺利起步：C语言入门指南...

C++选择结构，让程序自动进行决策

什么是选择结构？正常的程序都是从上至下顺序执行，这就是顺序结构...

C++特性使用建议

1.引用参数使用引用替代指针且所有不变的引用参数必须加上const。在C语言中，如果函数需要修改变量的值，参数必须为指针，如...

C++程序员学习Zig指南(中篇)

1.复合数据类型结构体与方法的对比C++类：...

研一自学C++啃得动吗?

研一自学C++啃得动吗?在开始前我有一些资料，是我根据网友给的问题精心整理了一份「C++的资料从专业入门到高级教程」，点个关注在评论区回复“888”之后私信回复“888”，全部无偿共享给大家！！！个人...

C++关键字介绍

下表列出了C++中的常用关键字，这些关键字不能作为变量名或其他标识符名称。1、autoC++11的auto用于表示变量的自动类型推断。即在声明变量的时候，根据变量初始值的类型自动为此变量选择匹配的...

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.