百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

Mysql做表分区

wptr33 2025-02-11 13:44 33 浏览

我们都知道,在Mysql 中,如果数据量过大的话,就有可能在查询过程中会出现各种超时的情况,毕竟如果一个表的数据量过大的时候,一个简单的单表查询都会有点慢,所以,就有了各种中间件的存在,比如说 MyCat,ShardingJDBC 等分库工具,但是今天了不起不说这个,我们来说说这个Mysql自己的分区,我们不做分库操作。

Mysql数据分区

MySQL 的数据分区(Partitioning)是一个数据库功能,允许将一个表物理地分成多个独立的、更小的、更易于管理的片段,这些片段被称为分区。每个分区在逻辑上都是表的一部分,但在物理存储上,每个分区可以有自己的存储引擎、文件、索引等。

为什么要使用分区?

  • 性能:对于某些查询,尤其是范围查询,分区可以显著提高性能,因为 MySQL 可以仅扫描需要的数据分区,而不是整个表。
  • 管理:可以对单独的分区进行备份、删除或检查,这使得管理大型表变得更加容易。
  • 归档:可以将旧数据移动到单独的分区,并轻松地从主表中删除这些分区,从而实现数据的归档。

如何进行分区?

MySQL 支持多种分区方法,包括:

  • RANGE 分区:基于列值的范围进行分区。
  • LIST 分区:基于列值的列表进行分区。
  • HASH 分区:基于用户定义的表达式的返回值的哈希值进行分区。
  • KEY 分区:类似于 HASH 分区,但 MySQL 服务器提供哈希函数。
  • COLUMNS 分区:是 RANGE 和 LIST 分区的扩展,允许基于多个列的值进行分区。

我们来详细说说这个分区的区别

RANGE分区

  • 定义:基于属于一个给定连续区间的列值,把多行分配给分区。
  • 用途:非常适合于基于时间范围的数据,如日志、交易记录等。
  • 特点:分区键必须是整数、日期或日期时间类型。分区表必须至少包含一个RANGE分区。每个RANGE分区都定义了一个值的范围,如 PARTITION p0 VALUES LESS THAN (100)。
  • 限制:不支持外键和全文索引。

LIST分区

  • 定义:类似于RANGE分区,但它是基于列值匹配一个离散值集合中的某个值来进行选择。
  • 用途:当数据可以按照某个离散值列表进行分组时,如地域、类别等。
  • 特点:分区键可以是整数或枚举类型。定义时指定一个值列表,如 PARTITION p1 VALUES IN (1, 3, 5)。
  • 限制:与RANGE分区类似,不支持外键和全文索引。

HASH分区

  • 定义:基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。
  • 用途:当数据分布需要均匀或随机时,HASH分区可以确保数据在预先确定数目的分区中平均分布。
  • 特点:分区键可以是任何MySQL中的有效表达式,只要它返回非负整数值。可以通过指定分区数量来控制数据的分布。
  • 限制:不支持外键和全文索引。

KEY分区

  • 定义:类似于HASH分区,但KEY分区的哈希函数是由MySQL服务器提供。
  • 用途:与HASH分区类似,但使用MySQL内部的哈希函数。
  • 特点:分区键可以是一列或多列,但所有列都必须是整数类型。MySQL服务器会处理列的哈希值,并将数据分配到不同的分区。
  • 限制:与HASH分区相同,不支持外键和全文索引。

COLUMNS分区

  • 定义:MySQL 5.5及以上版本支持基于多个列的分区,这被称为COLUMNS分区。
  • 用途:允许根据多列的值进行分区,提供了更大的灵活性。
  • 特点:可以使用多个列作为分区键。支持RANGE和LIST分区。
  • 限制:与上述分区类型类似的限制。

我们来看一下个示例,

假设我们有一个名为 sales 的表,它记录了销售数据,并且我们想要基于 sale_date 列进行 RANGE 分区。

CREATE TABLE sales (  
    sale_id  VARCHAR(100) NOT NULL, 
  sale_name VARCHAR(100) NOT NULL, 
    amount DECIMAL(10, 2) NOT NULL,  
  dsYear VARCHAR(20) NOT NULL
)  
PARTITION BY RANGE COLUMNS(dsYear) (  
    PARTITION p0 VALUES LESS THAN ('2021'),  
    PARTITION p1 VALUES LESS THAN ('2022'),  
    PARTITION p2 VALUES LESS THAN ('2023'),  
    PARTITION p3 VALUES LESS THAN  ('2024')  
);

在这个例子中,我们根据 dsYear 列的年份值将数据分成多个分区。注意 MAXVALUE 的使用,它表示最大的可能的值。

如果我们进行了分区,那么就要在查询中适当的去增加分区查询条件,和分库是一样的,查询的时候需要命中分库规则,这样的话,就不会进行全表的扫描。

然后我们创建一大笔数据,这样去查询一下,我们先来造数据,直接用存储过程来造数据,如果你使用的Navicat16,那你可以使用他自带的造数据的功能。

脚本如下:

CREATE DEFINER=`root`@`%` PROCEDURE `CreateTestData`()
BEGIN
    DECLARE v_counter INT DEFAULT 1;
    WHILE v_counter <= 1000000 DO
        INSERT INTO sales(sale_id, sale_name, amount,dsYear)
        VALUES(UUID_SHORT(), CONCAT('Data', v_counter), v_counter,'2021');
        SET v_counter = v_counter + 1;
    END WHILE;
END

我们这时候就可以通过查询是否命中分区来看一下查询速度了。

不过这种创建数据的方式那可是非常的耗时间的。

我们来对比一下查询分区和不涉及分区的情况

这个速度的差距明显就显现出来了,一共200w的数据,所以,利用好分区是非常有必要的。

注意事项:

不是所有的存储引擎都支持分区。例如,MyISAM 和 InnoDB 支持分区,但 MEMORY 存储引擎不支持。

分区键必须是表的一个列或表达式的组合,且必须是整数类型、返回整数值的表达式或 DATE/DATETIME 列。

分区表可能有一些限制和注意事项,例如,某些类型的索引可能不支持,或者某些查询优化可能不适用于分区表。因此,在决定使用分区之前,最好先详细了解这些限制和注意事项。

相关推荐

oracle数据导入导出_oracle数据导入导出工具

关于oracle的数据导入导出,这个功能的使用场景,一般是换服务环境,把原先的oracle数据导入到另外一台oracle数据库,或者导出备份使用。只不过oracle的导入导出命令不好记忆,稍稍有点复杂...

继续学习Python中的while true/break语句

上次讲到if语句的用法,大家在微信公众号问了小编很多问题,那么小编在这几种解决一下,1.else和elif是子模块,不能单独使用2.一个if语句中可以包括很多个elif语句,但结尾只能有一个else解...

python continue和break的区别_python中break语句和continue语句的区别

python中循环语句经常会使用continue和break,那么这2者的区别是?continue是跳出本次循环,进行下一次循环;break是跳出整个循环;例如:...

简单学Python——关键字6——break和continue

Python退出循环,有break语句和continue语句两种实现方式。break语句和continue语句的区别:break语句作用是终止循环。continue语句作用是跳出本轮循环,继续下一次循...

2-1,0基础学Python之 break退出循环、 continue继续循环 多重循

用for循环或者while循环时,如果要在循环体内直接退出循环,可以使用break语句。比如计算1至100的整数和,我们用while来实现:sum=0x=1whileTrue...

Python 中 break 和 continue 傻傻分不清

大家好啊,我是大田。今天分享一下break和continue在代码中的执行效果是什么,进一步区分出二者的区别。一、continue例1:当小明3岁时不打印年龄,其余年龄正常循环打印。可以看...

python中的流程控制语句:continue、break 和 return使用方法

Python中,continue、break和return是控制流程的关键语句,用于在循环或函数中提前退出或跳过某些操作。它们的用途和区别如下:1.continue(跳过当前循环的剩余部分,进...

L017:continue和break - 教程文案

continue和break在Python中,continue和break是用于控制循环(如for和while)执行流程的关键字,它们的作用如下:1.continue:跳过当前迭代,...

作为前端开发者,你都经历过怎样的面试?

已经裸辞1个月了,最近开始投简历找工作,遇到各种各样的面试,今天分享一下。其实在职的时候也做过面试官,面试官时,感觉自己问的问题很难区分候选人的能力,最好的办法就是看看候选人的github上的代码仓库...

面试被问 const 是否不可变?这样回答才显功底

作为前端开发者,我在学习ES6特性时,总被const的"善变"搞得一头雾水——为什么用const声明的数组还能push元素?为什么基本类型赋值就会报错?直到翻遍MDN文档、对着内存图反...

2023金九银十必看前端面试题!2w字精品!

导文2023金九银十必看前端面试题!金九银十黄金期来了想要跳槽的小伙伴快来看啊CSS1.请解释CSS的盒模型是什么,并描述其组成部分。答案:CSS的盒模型是用于布局和定位元素的概念。它由内容区域...

前端面试总结_前端面试题整理

记得当时大二的时候,看到实验室的学长学姐忙于各种春招,有些收获了大厂offer,有些还在苦苦面试,其实那时候的心里还蛮忐忑的,不知道自己大三的时候会是什么样的一个水平,所以从19年的寒假放完,大二下学...

由浅入深,66条JavaScript面试知识点(七)

作者:JakeZhang转发链接:https://juejin.im/post/5ef8377f6fb9a07e693a6061目录由浅入深,66条JavaScript面试知识点(一)由浅入深,66...

2024前端面试真题之—VUE篇_前端面试题vue2020及答案

添加图片注释,不超过140字(可选)1.vue的生命周期有哪些及每个生命周期做了什么?beforeCreate是newVue()之后触发的第一个钩子,在当前阶段data、methods、com...

今年最常见的前端面试题,你会做几道?

在面试或招聘前端开发人员时,期望、现实和需求之间总是存在着巨大差距。面试其实是一个交流想法的地方,挑战人们的思考方式,并客观地分析给定的问题。可以通过面试了解人们如何做出决策,了解一个人对技术和解决问...