百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

MySQL数据库中,数据量越来越大,有什么具体的优化方案么?

wptr33 2025-05-03 16:58 5 浏览

个人的观点,这种大表的优化,不一定上来就要分库分表,因为表一旦被拆分,开发、运维的复杂度会直线上升,而大多数公司和开发人员是欠缺这种能力的。

所以MySQL中几百万甚至小几千万的表,先考虑做单表的优化。

单表优化

单表优化可以从这几个角度出发:

1.表分区

MySQL在5.1之后才有的,可以看做是水平拆分,分区表需要在建表的需要加上分区参数,用户需要在建表的时候加上分区参数;

分区表底层由多个物理子表组成,但是对于代码来说,分区表是透明的;

SQL中的条件中最好能带上分区条件的列,这样可以定位到少量的分区上,否则就会扫描全部分区。

2.增加缓存

主要的思想就是减少对数据库的访问,缓存可以在整个架构中的很多地方;

比如:数据库本身有就缓存,客户端缓存,数据库访问层对SQL语句的缓存,应用程序内的缓存,第三方缓存(如Redis等);

3.字段设计

单表不要有太多字段;

VARCHAR的长度尽量只分配真正需要的空间;

尽量使用TIMESTAMP而非DATETIME;

避免使用NULL,可以通过设置默认值解决。

4.索引优化

索引不是越多越好,针对性地建立索引,索引会加速查询,但是对新增、修改、删除会造成一定的影响;

值域很少的字段不适合建索引;

尽量不用UNIQUE,不要设置外键,由程序保证;

5.索引优化

尽量使用索引,也要保证不要因为错误的写法导致索引失效;

比如:避免前导模糊查询,避免隐式转换,避免等号左边做函数运算,in中的元素不宜过多等等;

6.NoSQL

有一些场景,可以抛弃MySQL等关系型数据库,拥抱NoSQL;

比如:统计类、日志类、弱结构化的数据;事务要求低的场景。

表拆分

数据量进一步增大的时候,就不得不考虑表拆分的问题了:

1.垂直拆分

垂直拆分的意思就是把一个字段较多的表,拆分成多个字段较少的表;上文中也说过单表的字段不宜过多,如果初期的表结构设计的就很好,就不会有垂直拆分的问题了;一般来说,MySQL单表的字段最好不要超过二三十个。

2.水平拆分

就是我们常说的分库分表了;分表,解决了单表数据过大的问题,但是毕竟还在同一台数据库服务器上,所以IO、CPU、网络方面的压力,并不会得到彻底的缓解,这个可以通过分库来解决。

水平拆分优点很明显,可以利用多台数据库服务器的资源,提高了系统的负载能力;缺点是逻辑会变得复杂,跨节点的数据关联性能差,维护难度大(特别是扩容的时候)。

我将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注;关注我后,可私信发送数字【1】,获取学习资料。

相关推荐

SQL和NoSQL数据库选择(nosql数据库与sql语言的关系)

系统设计就是要在构建新事物或扩展现有应用时,做出正确的权衡。理解这些核心权衡,将有助于我们做出更好的架构决策,让我们来探讨一些与数据管理相关的基本系统设计权衡,这是每个工程师都应该理解的。在数据存储方...

Oracle大数据SQL使SQL、Hadoop和NoSQL融合互通

“如何把数据库中的一个用户句柄和某个人联系起来?”甲骨文大数据与高级分析副总裁NeilMendelson向记者提出了这样一个问题。对于任何一个在社交媒体上做数据分析的人来说,这都是一个棘手的问题,因...

SQL的基本知识(sql基本知识点)

数据库基本知识1.数据库的概念database(DB),是一种存储数据的仓库。可以将DB联想到生活中可见仓库,支持按照一定的顺序进行排列(如A-Z),存储,同时支持取货、存货。因此数据库的概念总结一...

MySQL高性能注意事项简述(mysql 高性能)

数据库作为应用开发中必不缺少的基础设施,其性能直接影响应用的整体运行速度。MySQL是目前最广泛使用的关系型数据库之一,对于开发人员写出性能良好的SQL是必备的基本技能之一。下面简单描述下编写SQL的...

SQLSERVER 事务日志 LSN 到底是什么?

...

SQL - 事务(Transaction)存储过程加事务 179

#妙笔生花创作挑战#事务(Transaction)...

SQL之谈谈事务和锁(sql事务的作用)

【十】事务和锁10.1事务具备的四个属性(简称ACID属性):1)原子性(Atomicity):事务是一个完整的操作,事务的各步操作是不可分的(如原子不可分),操作要么都执行了,要么都不执行。...

事务和锁的考点都在这了,线上SQL死锁这道题你还不会?

导读:引发死锁的原因是什么?如何避免?本文详细介绍了和死锁有关的知识点,通过深入分析MySQL事务和锁的机制,结合案例背景,找到了问题的所在,并梳理了解决方案,详解其原理。希望对同学们有所启发。...

什么是 SQL 事务,如何创建 SQL 事务

目录一、什么是事务...

想让AI 驱动 UI 测试?大佬推荐这个自动化工具!

文章概述本文介绍了什么是视觉测试,功能测试对于视觉测试来说的局限性,视觉测试的重要意义及视觉测试结合python/java两种脚本的案例。...

Python3爬虫教程与示例代码(python3爬虫菜鸟教程)

以下是Python3编写网络爬虫的简明教程,包含基础步骤和示例代码:一、常用工具库请求库Orequests:简单易用的HTTP请求库...

小白必看!如何用Python实现任务自动化和数据处理,超简单教程!

你是不是经常听说Python很强大,但却不知道它到底能做什么?其实,Python不仅仅是程序员的工具,它还能帮我们普通人自动化繁琐的日常任务...

Python制作桑基图(我承认我低估了这个教程)

一个有趣的灵魂W首先,什么是桑基图桑基图(Sankey),主要还是音译的结果。这是一幅别人文章里的图,大致的意思就是左边和右边之间的联系,最大的作用就是看着舒服,至于看的清不清楚我是真不知道。然后,...

Python爬虫破解滑动验证码教程(selenium破解滑动验证码)

破解滑动验证码通常需要结合图像识别和模拟人类操作,以下是分步骤的解决方案:1.分析验证码类型缺口识别型:背景图带缺口,滑块图带凸块轨迹验证型:除了位置还需模拟人类移动轨迹...

学习python怎么能没有练手项目呢?诺,给你70个拿去玩,附教程

写在前面相信正在学Python你一定为了没有练手项目而发愁,小编精心为同学们推荐出了70个Python的练手项目,相信能够喂饱大伙儿吧!哈哈!这里面的项目都很有代表性,不只是可以用来练手,而且在以后的...