百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

翻译|如何排查MySQL 内存泄漏

wptr33 2025-03-01 15:43 18 浏览

Troubleshooting

对crash的数据库进行故障分析并不是一件快乐的事情,尤其是 MySQL 的日志中没有提供 crash 原因的情形。比如当 MySQL 内存耗尽。在 2012年 Peter Zaitsev 写了一篇文章 分析MySQL如何使用内存

该文章中有很多有用的技巧。使用新版本的 MySQL (5.7+) 和 performance_schema,我们能够更轻松地解决 MySQL 内存分配问题。

在本文中,我将向您展示如何使用 P_S。

首先,MySQL由于内存不足而崩溃的主要情况有3种:

  1. 为MySQL 尝试分配比可用内存更多的内存,比如:没有正确设置 innodb_buffer_pool_size。这种场景比较容易修复。

  2. 服务器上还有一些其他进程可以分配 RAM。应用程序(Java、Python、PHP)、Web 服务器甚至备份进程(即 mysqldump)。如果确定问题的根源是这些进程导致的,修复起来就很简单了。

  3. MySQL 内存泄漏。这是最坏的情况,我们需要进行故障排除。

二 从哪里开始排除 MySQL 内存泄漏

以下是我们可以开始的内容(假设它是 Linux 服务器):

2.1 检查Linux 操作系统,配置文件和参数

  1. 通过检查 MySQL 错误日志和 Linux 日志文件(即 /var/log/messages 或 /var/log/syslog)来识别崩溃。您可能会看到一个条目说 OOM Killer 杀死了 MySQL。每当 MySQL 被 OOM 杀死时,“dmesg”也会显示有关它周围情况的详细信息。

  2. 检查可用内存:

    free -g

    cat /proc/meminfo

  3. 使用命令 top 或 htop 检查哪些应用程序正在使用 RAM(参见常驻内存与虚拟内存)

  4. 检查MySQL配置:检查/etc/my.cnf或一般的/etc/my*(包括/etc/mysql/*等文件)。MySQL 可能使用不同的 my.cnf( run ps ax| grep mysql ) 运行。

  5. 运行 vmstat 5 5 以 查看系统是否通过虚拟内存进行读/写以及是否正在交换。

  6. 对于非生产环境,我们可以使用其他工具(如Valgrind、gdb等)来检查MySQL的使用情况。

2.2 检查 MySQL 内部

现在我们可以通过MySQL运行机制以便查找潜在的内存泄漏因素。MySQL 在很多地方分配内存,尤其是:

  1. 表缓存

  2. 启用 Performance_schema功能

    show engine performance_schema status 并查看最后一行。

  3. InnoDB(运行 show engine innodb status 并检查缓冲池部分,为 buffer_pool 和相关缓存分配的内存)

  4. 在内存中的临时表(找到运行内存中的所有表:select * from information_schema.tables where engine='MEMORY')

  5. Prepared 语句,当它没有被解除分配时(通过运行 show global status like 检查通过解除分配命令准备的命令的数量 Com_prepare_sql;

show global status like 'Com_dealloc_sql'

好消息是从 5.7 开始,我们可以基于 performance_schema 查询内存使用情况。如何使用呢?

  1. 开启收集内存的统计信息

UPDATE setup_instruments SET ENABLED = 'YES' WHERE NAME LIKE 'memory/%';

  1. 执行sql

select event_name, current_alloc, high_alloc from sys.memory_global_by_current_bytes where current_count > 0;

  1. 通常情况下,第二部的结果集会展示具体的代码模块使用了比较多的内存。它通常是不言自明的,我们可以搜索mysql的bugs 或者可以去检查 MySQL 源代码。

举个例子,
https://bugs.mysql.com/bug.php?id=86821 ,这篇文章展示了 mysql为触发器分配了过多的内存。

mysql> select event_name, current_alloc, high_alloc from memory_global_by_current_bytes where current_count > 0;
+--------------------------------------------------------------------------------+---------------+-------------+
| event_name | current_alloc | high_alloc |
+--------------------------------------------------------------------------------+---------------+-------------+
| memory/innodb/buf_buf_pool | 7.29 GiB | 7.29 GiB |
| memory/sql/sp_head::main_mem_root | 3.21 GiB | 3.62 GiB |
...

虽然 buf_buf_pool 占用了7G ,但是系统依然为存储过程对象分配3G内存,显然分配的内存太大了。根据文档描述 sp_head 代表这个存储程序的一个实例,它可能是任何类型(存储过程、函数、触发器、事件)。在上述情况下,这个mysql有潜在的内存泄漏。

注意:

其实官方并不承认 存储过程对象导致内存使用量持续增加是个bug。官方给的建议是调整参数
table_open_cache_instances

另外我们可以通过如下语句 查看具体是哪个模块在消耗大量内存。

mysql> select substring_index(
-> substring_index(event_name, '/', 2),
-> '/',
-> -1
-> ) as event_type,
-> round(sum(CURRENT_NUMBER_OF_BYTES_USED)/1024/1024, 2) as MB_CURRENTLY_USED
-> from performance_schema.memory_summary_global_by_event_name
-> group by event_type
-> having MB_CURRENTLY_USED>0;
+--------------------+-------------------+
| event_type | MB_CURRENTLY_USED |
+--------------------+-------------------+
| innodb | 0.61 |
| memory | 0.21 |
| performance_schema | 106.26 |
| sql | 0.79 |
+--------------------+-------------------+
4 rows in set (0.00 sec)

三 小结

相关推荐

oracle数据导入导出_oracle数据导入导出工具

关于oracle的数据导入导出,这个功能的使用场景,一般是换服务环境,把原先的oracle数据导入到另外一台oracle数据库,或者导出备份使用。只不过oracle的导入导出命令不好记忆,稍稍有点复杂...

继续学习Python中的while true/break语句

上次讲到if语句的用法,大家在微信公众号问了小编很多问题,那么小编在这几种解决一下,1.else和elif是子模块,不能单独使用2.一个if语句中可以包括很多个elif语句,但结尾只能有一个else解...

python continue和break的区别_python中break语句和continue语句的区别

python中循环语句经常会使用continue和break,那么这2者的区别是?continue是跳出本次循环,进行下一次循环;break是跳出整个循环;例如:...

简单学Python——关键字6——break和continue

Python退出循环,有break语句和continue语句两种实现方式。break语句和continue语句的区别:break语句作用是终止循环。continue语句作用是跳出本轮循环,继续下一次循...

2-1,0基础学Python之 break退出循环、 continue继续循环 多重循

用for循环或者while循环时,如果要在循环体内直接退出循环,可以使用break语句。比如计算1至100的整数和,我们用while来实现:sum=0x=1whileTrue...

Python 中 break 和 continue 傻傻分不清

大家好啊,我是大田。今天分享一下break和continue在代码中的执行效果是什么,进一步区分出二者的区别。一、continue例1:当小明3岁时不打印年龄,其余年龄正常循环打印。可以看...

python中的流程控制语句:continue、break 和 return使用方法

Python中,continue、break和return是控制流程的关键语句,用于在循环或函数中提前退出或跳过某些操作。它们的用途和区别如下:1.continue(跳过当前循环的剩余部分,进...

L017:continue和break - 教程文案

continue和break在Python中,continue和break是用于控制循环(如for和while)执行流程的关键字,它们的作用如下:1.continue:跳过当前迭代,...

作为前端开发者,你都经历过怎样的面试?

已经裸辞1个月了,最近开始投简历找工作,遇到各种各样的面试,今天分享一下。其实在职的时候也做过面试官,面试官时,感觉自己问的问题很难区分候选人的能力,最好的办法就是看看候选人的github上的代码仓库...

面试被问 const 是否不可变?这样回答才显功底

作为前端开发者,我在学习ES6特性时,总被const的"善变"搞得一头雾水——为什么用const声明的数组还能push元素?为什么基本类型赋值就会报错?直到翻遍MDN文档、对着内存图反...

2023金九银十必看前端面试题!2w字精品!

导文2023金九银十必看前端面试题!金九银十黄金期来了想要跳槽的小伙伴快来看啊CSS1.请解释CSS的盒模型是什么,并描述其组成部分。答案:CSS的盒模型是用于布局和定位元素的概念。它由内容区域...

前端面试总结_前端面试题整理

记得当时大二的时候,看到实验室的学长学姐忙于各种春招,有些收获了大厂offer,有些还在苦苦面试,其实那时候的心里还蛮忐忑的,不知道自己大三的时候会是什么样的一个水平,所以从19年的寒假放完,大二下学...

由浅入深,66条JavaScript面试知识点(七)

作者:JakeZhang转发链接:https://juejin.im/post/5ef8377f6fb9a07e693a6061目录由浅入深,66条JavaScript面试知识点(一)由浅入深,66...

2024前端面试真题之—VUE篇_前端面试题vue2020及答案

添加图片注释,不超过140字(可选)1.vue的生命周期有哪些及每个生命周期做了什么?beforeCreate是newVue()之后触发的第一个钩子,在当前阶段data、methods、com...

今年最常见的前端面试题,你会做几道?

在面试或招聘前端开发人员时,期望、现实和需求之间总是存在着巨大差距。面试其实是一个交流想法的地方,挑战人们的思考方式,并客观地分析给定的问题。可以通过面试了解人们如何做出决策,了解一个人对技术和解决问...