百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

MySQL数据库修改小众参数解决大众问题

wptr33 2025-04-07 20:07 22 浏览

MySQL数据库中的SQL执行的时候经常会遇到未按预期走索引从而导致SQL执行时间长的情况出现。本文通过实际案例演示如何通过不修改SQL脚本而是通过修改数据库的参数来解决的案例。

1. 基础信息

数据库版本:MySQL5.7.30 (percona分支)

表结构信息如下

因包含字段较多,只截取部分重要字段
CREATE TABLE `tb1` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
  c3 varchar(50) NOT NULL COMMENT '',
  c1 varchar(20) NOT NULL COMMENT '',
  c2 varchar(30) NOT NULL COMMENT '',
  c4 tinyint(1) NOT NULL DEFAULT '0' COMMENT '',
  c6 datetime NOT NULL COMMENT '',
  c5 datetime NOT NULL COMMENT '',
  c7 varchar(10) DEFAULT '' COMMENT '',
  'c20' text ,
  PRIMARY KEY (`id`),
  KEY `idx_c1_c2` (c1,c2) USING BTREE,
  KEY `idx_c3` (c3),
  KEY `idx_c1_c4` (c1,c4),
  KEY `idx_c1_c5` (c1,c5),
  KEY `idx_c6_c7_c4` (c6,c7,c4) USING BTREE,
  KEY `idx_c7_c2_c6` (c7,c2,c6)
) ENGINE=InnoDB AUTO_INCREMENT=76579517 DEFAULT CHARSET=utf8

索引统计信息如下

+------+-----------+--------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| Table| Non_unique| Key_name     | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |
+------------------+--------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| tb1 |          0 | PRIMARY      |            1 | id          | A         |    32237890 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c2    |            1 | c1          | A         |      246510 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c2    |            2 | c2          | A         |      558882 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c3       |            1 | c3          | A         |    32237890 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c4    |            1 | c1          | A         |      567771 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c4    |            2 | c4          | A         |      450892 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c5    |            1 | c1          | A         |      260380 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c1_c5    |            2 | c5          | A         |    32237890 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c6_c7_c4 |            1 | c6          | A         |    15031719 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c6_c7_c4 |            2 | c7          | A         |    21172686 |     NULL | NULL   | YES  | BTREE      |         |               |
| tb1 |          1 | idx_c6_c7_c4 |            3 | c4          | A         |    22562920 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c7_c2_c6 |            1 | c7          | A         |        9330 |     NULL | NULL   | YES  | BTREE      |         |               |
| tb1 |          1 | idx_c7_c2_c6 |            2 | c2          | A         |       53700 |     NULL | NULL   |      | BTREE      |         |               |
| tb1 |          1 | idx_c7_c2_c6 |            3 | c6          | A         |    22523070 |     NULL | NULL   |      | BTREE      |         |               |
+------------------+--------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+

实际数据量约4千万。

已出现的慢SQL,最大耗时超过10mins

 select a.* from tb1 a where a.c1 = '123' and c4 in (0, 3) and c5 >=DATE_SUB('2025-03-21 14:40:14', INTERVAL 15 DAY) order by id  limit 100;

执行计划如下

 +----+-------------+-------+------------+-------+--------------------------------+---------+---------+------+-------+----------+-------------+
| id | select_type | table | partitions | type  | possible_keys                   | key     | key_len | ref  | rows  | filtered | Extra       |
+----+-------------+-------+------------+-------+---------------------------------+---------+---------+------+-------+----------+-------------+
|  1 | SIMPLE      | a     | NULL       | index | idx_c1_c2,idx_c1_c4,idx_c1_c5   | PRIMARY | 8       | NULL | 21978 |     0.11 | Using where |
+----+-------------+-------+------------+-------+---------------------------------+---------+---------+------+-------+----------+-------------+

2. 原因分析

简而言之以上SQL不走其他索引的原因如下:

主键索引通常是聚集索引,在InnoDB中,表的数据是按照主键顺序存储的。当执行ORDER BY id时,优化器可能认为使用主键索引可以避免额外的排序,因为数据已经按主键顺序存储了。所以如果查询中带有ORDER BY主键字段,优化器可能会倾向于使用主键索引,尤其是当有其他条件过滤后,如果结果集较小,可能更高效。

只不过本次优化器的判断有点小失误,实际上使用上述其他索引(例如idx_c1_c2,idx_c1_c4,idx_c1_c5 )中的任意一个都比走PRIMARY耗时更低。

3. 常规优化方式

2.1 修改SQL语句

原SQL语句可以有多种修改方式,最简单的方式便是去掉order by id,即改为

 select a.* from tb1 a where a.c1 = '123' and c4 in (0, 3) and c5 >=DATE_SUB('2025-03-21 14:40:14', INTERVAL 15 DAY)  limit 100;

修改后执行计划如下:

 +----+-------------+-------+-----------+-------+--------------------------------+------------+---------+------+-------+----------+-------------------------------------+
| id | select_type | table | partitions | type  | possible_keys                   | key       | key_len | ref  | rows  | filtered | Extra                               |
+----+-------------+-------+------------+-------+---------------------------------+-----------+---------+------+-------+----------+-------------------------------------+
|  1 | SIMPLE      | a     | NULL       | range | idx_c1_c2,idx_c1_c4,idx_c1_c5   | idx_c1_c4 | 63       | NULL |158207 |    33.33 | Using index condition; Using where|
+----+-------------+-------+------------+-------+---------------------------------+-----------+---------+------+-------+----------+-------------------------------------+

可见修改后执行计划明显变优。

当然也可以有其他的优化方式,例如忽略主键索引、强制走其他索引等,但是选择顺位相对靠后一点。

2.2 修改索引

还有一种方式是修改索引,这也是比较常用的方式,例如添加一个c1_c4_c5的组合索引

alter table tb1 add key idx_c1_c4_c5(c1,c4,c5);

修改后原SQL即使不修改也会走此组合索引,效率也会提升的更明显。

但是: 如果数据量很大时(例如本表),添加索引耗时较久,且会导致数据库IO加大,主从延迟等情况。如需操作可以使用pt-osc等工具在业务低谷时进行。

另外,在MySQL8.0中,还可以修改索引的可见或隐藏来解决一些问题,本案例不适用。

2.3 归档数据

因本案例的表部分数据可以归档,因此可以归档数据,降低本表数据量来解决

2.4 参数调整

optimizer_switch :常规调整的参数是optimizer_switch ,例如关闭index_merge,打开mrr、关闭batched_key_access等。本案例通过尝试均未能改变执行计划

sort_buffer:当sortbuffer不足时,可以调整sort buffer解决,本案例依旧未生效。

max_length_for_sort_data: 修改max_length_for_sort_data参数,也是为了解决排序问题(MySQL8.0此参数在实际优化过程中有变化,此处不再赘述)

当然还有其他的参数也可以调整进行尝试,此处省略


3. 本案例主角:max_seeks_for_key

参数简介:

max_seeks_for_key通过限制优化器假设的索引扫描最大搜索次数,间接控制查询计划的选择。例如,即使某个索引的实际基数(cardinality)较低(即重复值较多),若将此参数设置为较低值(如100),优化器会认为“通过索引最多只需100次键值搜索即可完成查询”,从而更倾向于选择索引扫描而非全表扫描。其默认值很大,相当于优化器完全依赖索引的统计信息(如基数)估算扫描成本,不对搜索次数做额外限制。

适用场景:

当表中存在低基数字段(如性别字段)或优化器因统计信息不准确而错误选择全表扫描时,通过调整此参数可强制优化器优先使用索引,尤其在以下情况:

  • 索引实际效率高于优化器估算值(例如大表中通过索引快速定位少量数据全表扫描
  • 因磁盘I/O或数据量过大导致性能瓶颈。


本案例调整演示

该参数使用的很小众,但本案例正好适用,例如:

mysql> set max_seeks_for_key=100;
Query OK, 0 rows affected (0.00 sec)

修改后执行计划如下:

 +----+-------------+-------+-----------+-------+--------------------------------+------------+---------+------+-------+----------+---------------------------------------------------+
| id | select_type | table | partitions | type  | possible_keys                   | key       | key_len | ref  | rows  | filtered | Extra                                             |
+----+-------------+-------+------------+-------+---------------------------------+-----------+---------+------+-------+----------+---------------------------------------------------+
|  1 | SIMPLE      | a     | NULL       | range | idx_c1_c2,idx_c1_c4,idx_c1_c5   | idx_c1_c2 | 62       | NULL |524552 |    6.67 | Using index condition; Using where; Using filesort|
+----+-------------+-------+------------+-------+---------------------------------+-----------+---------+------+-------+----------+---------------------------------------------------+

可见,虽然调整后虽然选择的索引依然不是最优的,但是已经相对较快了。优化后执行时间不到1s。

因此可以在添加组合索引及数据归档清理前临时调整该参数临时解决。

想要全局生效需要修改全局参数

set global  max_seeks_for_key=100;

相关推荐

MySQL进阶五之自动读写分离mysql-proxy

自动读写分离目前,大量现网用户的业务场景中存在读多写少、业务负载无法预测等情况,在有大量读请求的应用场景下,单个实例可能无法承受读取压力,甚至会对业务产生影响。为了实现读取能力的弹性扩展,分担数据库压...

Postgres vs MySQL_vs2022连接mysql数据库

...

3分钟短文 | Laravel SQL筛选两个日期之间的记录,怎么写?

引言今天说一个细分的需求,在模型中,或者使用laravel提供的EloquentORM功能,构造查询语句时,返回位于两个指定的日期之间的条目。应该怎么写?本文通过几个例子,为大家梳理一下。学习时...

一文由浅入深带你完全掌握MySQL的锁机制原理与应用

本文将跟大家聊聊InnoDB的锁。本文比较长,包括一条SQL是如何加锁的,一些加锁规则、如何分析和解决死锁问题等内容,建议耐心读完,肯定对大家有帮助的。为什么需要加锁呢?...

验证Mysql中联合索引的最左匹配原则

后端面试中一定是必问mysql的,在以往的面试中好几个面试官都反馈我Mysql基础不行,今天来着重复习一下自己的弱点知识。在Mysql调优中索引优化又是非常重要的方法,不管公司的大小只要后端项目中用到...

MySQL索引解析(联合索引/最左前缀/覆盖索引/索引下推)

目录1.索引基础...

你会看 MySQL 的执行计划(EXPLAIN)吗?

SQL执行太慢怎么办?我们通常会使用EXPLAIN命令来查看SQL的执行计划,然后根据执行计划找出问题所在并进行优化。用法简介...

MySQL 从入门到精通(四)之索引结构

索引概述索引(index),是帮助MySQL高效获取数据的数据结构(有序),在数据之外,数据库系统还维护者满足特定查询算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构...

mysql总结——面试中最常问到的知识点

mysql作为开源数据库中的榜一大哥,一直是面试官们考察的重中之重。今天,我们来总结一下mysql的知识点,供大家复习参照,看完这些知识点,再加上一些边角细节,基本上能够应付大多mysql相关面试了(...

mysql总结——面试中最常问到的知识点(2)

首先我们回顾一下上篇内容,主要复习了索引,事务,锁,以及SQL优化的工具。本篇文章接着写后面的内容。性能优化索引优化,SQL中索引的相关优化主要有以下几个方面:最好是全匹配。如果是联合索引的话,遵循最...

MySQL基础全知全解!超详细无废话!轻松上手~

本期内容提醒:全篇2300+字,篇幅较长,可搭配饭菜一同“食”用,全篇无废话(除了这句),干货满满,可收藏供后期反复观看。注:MySQL中语法不区分大小写,本篇中...

深入剖析 MySQL 中的锁机制原理_mysql 锁详解

在互联网软件开发领域,MySQL作为一款广泛应用的关系型数据库管理系统,其锁机制在保障数据一致性和实现并发控制方面扮演着举足轻重的角色。对于互联网软件开发人员而言,深入理解MySQL的锁机制原理...

Java 与 MySQL 性能优化:MySQL分区表设计与性能优化全解析

引言在数据库管理领域,随着数据量的不断增长,如何高效地管理和操作数据成为了一个关键问题。MySQL分区表作为一种有效的数据管理技术,能够将大型表划分为多个更小、更易管理的分区,从而提升数据库的性能和可...

MySQL基础篇:DQL数据查询操作_mysql 查

一、基础查询DQL基础查询语法SELECT字段列表FROM表名列表WHERE条件列表GROUPBY分组字段列表HAVING分组后条件列表ORDERBY排序字段列表LIMIT...

MySql:索引的基本使用_mysql索引的使用和原理

一、索引基础概念1.什么是索引?索引是数据库表的特殊数据结构(通常是B+树),用于...