MySQL数据库中,数据量越来越大,有什么具体的优化方案么?
wptr33 2025-05-03 16:58 5 浏览
个人的观点,这种大表的优化,不一定上来就要分库分表,因为表一旦被拆分,开发、运维的复杂度会直线上升,而大多数公司和开发人员是欠缺这种能力的。
所以MySQL中几百万甚至小几千万的表,先考虑做单表的优化。
单表优化
单表优化可以从这几个角度出发:
1.表分区
MySQL在5.1之后才有的,可以看做是水平拆分,分区表需要在建表的需要加上分区参数,用户需要在建表的时候加上分区参数;
分区表底层由多个物理子表组成,但是对于代码来说,分区表是透明的;
SQL中的条件中最好能带上分区条件的列,这样可以定位到少量的分区上,否则就会扫描全部分区。
2.增加缓存
主要的思想就是减少对数据库的访问,缓存可以在整个架构中的很多地方;
比如:数据库本身有就缓存,客户端缓存,数据库访问层对SQL语句的缓存,应用程序内的缓存,第三方缓存(如Redis等);
3.字段设计
单表不要有太多字段;
VARCHAR的长度尽量只分配真正需要的空间;
尽量使用TIMESTAMP而非DATETIME;
避免使用NULL,可以通过设置默认值解决。
4.索引优化
索引不是越多越好,针对性地建立索引,索引会加速查询,但是对新增、修改、删除会造成一定的影响;
值域很少的字段不适合建索引;
尽量不用UNIQUE,不要设置外键,由程序保证;
5.索引优化
尽量使用索引,也要保证不要因为错误的写法导致索引失效;
比如:避免前导模糊查询,避免隐式转换,避免等号左边做函数运算,in中的元素不宜过多等等;
6.NoSQL
有一些场景,可以抛弃MySQL等关系型数据库,拥抱NoSQL;
比如:统计类、日志类、弱结构化的数据;事务要求低的场景。
表拆分
数据量进一步增大的时候,就不得不考虑表拆分的问题了:
1.垂直拆分
垂直拆分的意思就是把一个字段较多的表,拆分成多个字段较少的表;上文中也说过单表的字段不宜过多,如果初期的表结构设计的就很好,就不会有垂直拆分的问题了;一般来说,MySQL单表的字段最好不要超过二三十个。
2.水平拆分
就是我们常说的分库分表了;分表,解决了单表数据过大的问题,但是毕竟还在同一台数据库服务器上,所以IO、CPU、网络方面的压力,并不会得到彻底的缓解,这个可以通过分库来解决。
水平拆分优点很明显,可以利用多台数据库服务器的资源,提高了系统的负载能力;缺点是逻辑会变得复杂,跨节点的数据关联性能差,维护难度大(特别是扩容的时候)。
我将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注;关注我后,可私信发送数字【1】,获取学习资料。
相关推荐
- SQL和NoSQL数据库选择(nosql数据库与sql语言的关系)
-
系统设计就是要在构建新事物或扩展现有应用时,做出正确的权衡。理解这些核心权衡,将有助于我们做出更好的架构决策,让我们来探讨一些与数据管理相关的基本系统设计权衡,这是每个工程师都应该理解的。在数据存储方...
- Oracle大数据SQL使SQL、Hadoop和NoSQL融合互通
-
“如何把数据库中的一个用户句柄和某个人联系起来?”甲骨文大数据与高级分析副总裁NeilMendelson向记者提出了这样一个问题。对于任何一个在社交媒体上做数据分析的人来说,这都是一个棘手的问题,因...
- SQL的基本知识(sql基本知识点)
-
数据库基本知识1.数据库的概念database(DB),是一种存储数据的仓库。可以将DB联想到生活中可见仓库,支持按照一定的顺序进行排列(如A-Z),存储,同时支持取货、存货。因此数据库的概念总结一...
- MySQL高性能注意事项简述(mysql 高性能)
-
数据库作为应用开发中必不缺少的基础设施,其性能直接影响应用的整体运行速度。MySQL是目前最广泛使用的关系型数据库之一,对于开发人员写出性能良好的SQL是必备的基本技能之一。下面简单描述下编写SQL的...
- SQL - 事务(Transaction)存储过程加事务 179
-
#妙笔生花创作挑战#事务(Transaction)...
- SQL之谈谈事务和锁(sql事务的作用)
-
【十】事务和锁10.1事务具备的四个属性(简称ACID属性):1)原子性(Atomicity):事务是一个完整的操作,事务的各步操作是不可分的(如原子不可分),操作要么都执行了,要么都不执行。...
- 事务和锁的考点都在这了,线上SQL死锁这道题你还不会?
-
导读:引发死锁的原因是什么?如何避免?本文详细介绍了和死锁有关的知识点,通过深入分析MySQL事务和锁的机制,结合案例背景,找到了问题的所在,并梳理了解决方案,详解其原理。希望对同学们有所启发。...
- 什么是 SQL 事务,如何创建 SQL 事务
-
目录一、什么是事务...
- 想让AI 驱动 UI 测试?大佬推荐这个自动化工具!
-
文章概述本文介绍了什么是视觉测试,功能测试对于视觉测试来说的局限性,视觉测试的重要意义及视觉测试结合python/java两种脚本的案例。...
- Python3爬虫教程与示例代码(python3爬虫菜鸟教程)
-
以下是Python3编写网络爬虫的简明教程,包含基础步骤和示例代码:一、常用工具库请求库Orequests:简单易用的HTTP请求库...
- 小白必看!如何用Python实现任务自动化和数据处理,超简单教程!
-
你是不是经常听说Python很强大,但却不知道它到底能做什么?其实,Python不仅仅是程序员的工具,它还能帮我们普通人自动化繁琐的日常任务...
- Python制作桑基图(我承认我低估了这个教程)
-
一个有趣的灵魂W首先,什么是桑基图桑基图(Sankey),主要还是音译的结果。这是一幅别人文章里的图,大致的意思就是左边和右边之间的联系,最大的作用就是看着舒服,至于看的清不清楚我是真不知道。然后,...
- Python爬虫破解滑动验证码教程(selenium破解滑动验证码)
-
破解滑动验证码通常需要结合图像识别和模拟人类操作,以下是分步骤的解决方案:1.分析验证码类型缺口识别型:背景图带缺口,滑块图带凸块轨迹验证型:除了位置还需模拟人类移动轨迹...
- 学习python怎么能没有练手项目呢?诺,给你70个拿去玩,附教程
-
写在前面相信正在学Python你一定为了没有练手项目而发愁,小编精心为同学们推荐出了70个Python的练手项目,相信能够喂饱大伙儿吧!哈哈!这里面的项目都很有代表性,不只是可以用来练手,而且在以后的...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mysql max (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)