百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

面试官:你项目是如何实现读写分离的?

wptr33 2025-03-01 15:44 8 浏览

读写分离(Read-Write Splitting)是一种常见的数据库架构优化策略,通过将数据库的读操作(查询)和写操作(插入、更新、删除)分离到不同的数据库实例上,从而提高系统的性能、可扩展性和高可用性

在项目中实现读写分离目前主流的实现技术是通过 Apache ShardingSphere 来实现数据库的读写分离的。


从 Apache ShardingSphere 官网也可以看出读写分离是其提供的主要功能之一:

ShardingSphere 官网地址:
https://shardingsphere.apache.org/document/current/cn/features/readwrite-splitting/


通过 ShardingSphere 可以轻松实现 MySQL 数据库的读写分离,以下是基于最新 ShardingSphere 5.x 版本的实现步骤和关键代码:

1.核心实现原理

ShardingSphere 通过 JDBC 驱动层透明代理实现读写分离,其核心逻辑为:

  1. SQL 路由:根据 SQL 类型(SELECT/WRITE)自动路由到主库或从库。
  2. 负载均衡:支持轮询、随机权重等算法分配读请求到多个从库。
  3. 主从同步:依赖 MySQL 原生主从复制机制保障数据一致性。

2.具体实现步骤

步骤 1:搭建MySQL主从复制(前置条件)

-- 主库配置(my.cnf)
server-id=1
log-bin=mysql-bin
binlog-format=ROW

-- 从库配置(my.cnf)
server-id=2
relay-log=relay-bin
read-only=1

-- 主库创建复制账号
CREATE USER 'repl'@'%' IDENTIFIED BY 'P@ssw0rd';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
FLUSH PRIVILEGES;

-- 从库配置主库连接
CHANGE MASTER TO 
  MASTER_HOST='master_ip',
  MASTER_USER='repl',
  MASTER_PASSWORD='P@ssw0rd',
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=592;
START SLAVE;

步骤 2:SpringBoot项目集成ShardingSphere-JDBC

1.添加 Maven 依赖

在 pom.xml 中添加 ShardingSphere 和数据库连接池的依赖:


  org.apache.shardingsphere
  shardingsphere-jdbc-core-spring-boot-starter


  com.mysql
  mysql-connector-j

2.配置 application.yml

在 application.yml 中配置数据源和读写分离规则:

spring:
  shardingsphere:
    datasource:
      names: master,slave0
      # 主库配置
      master:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://master_ip:3306/db?useSSL=false
        username: root
        password: Master@123
      # 从库配置  
      slave0:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://slave_ip:3306/db?useSSL=false
        username: root
        password: Slave@123
      # 从库2配置  
      slave1:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        jdbc-url: jdbc:mysql://slave_ip:3306/db?useSSL=false
        username: root
        password: Slave@123
    rules:
      readwrite-splitting:
        data-sources:
          readwrite_ds:
            type: Static
            props:
              write-data-source-name: master
              read-data-source-names: 
                - slave0
                - slave1
            load-balancer-name: round_robin
        load-balancers:
          round_robin:
            type: ROUND_ROBIN # 轮询
    props:
      sql-show: true  # 显示实际路由的SQL

配置说明

  • 数据源配置
    • master:主库数据源,用于写操作。
    • slave0 和 slave1:从库数据源,用于读操作。
  • 读写分离规则
    • write-data-source-name:指定写操作的数据源。
    • read-data-source-names:指定读操作的数据源列表。
    • load-balancer-name:指定读操作的负载均衡算法。
  • 负载均衡算法
    • ROUND_ROBIN:轮询算法,读请求会在 slave0 和 slave1 之间轮询。
    • 其他可选算法:RANDOM(随机)、WEIGHT(权重)等。

3.验证读写分离

1.写操作测试

public void createUser(User user) {
userMapper.insert(user); // INSERT 语句自动路由到master
}

2.读操作测试

public List listUsers() {
    return userMapper.selectList(null); // SELECT 语句路由到slave0
}

3.查看执行日志

控制台会输出类似日志:

Actual SQL: master ::: INSERT INTO user (...)
Actual SQL: slave0 ::: SELECT * FROM user

3.高级配置(可选)

  1. 强制主库读通过 Hint 强制路由到主库:
HintManager.getInstance().setPrimaryRouteOnly();
  1. 故障转移配置心跳检测实现从库故障自动剔除:
spring:
  shardingsphere:
    rules:
      readwrite-splitting:
        data-sources:
          readwrite_ds:
            type: Dynamic
            props:
              auto-aware-data-source-name: readwrite_ds
              health-check-enabled: true
              health-check-max-retry-count: 3
              health-check-retry-interval: 5000

注意事项

主从延迟问题:异步复制场景下,刚写入的数据可能无法立即从从库读取,可通过 HintManager 强制读主库临时解决。

4.优缺点分析

  1. 优点分析
    1. 提升性能:写操作通常对性能要求较高,而读操作可以通过从库分担压力,避免主库因高并发查询而过载。从库可以进行水平扩展(增加更多从库实例),进一步提升系统的读取能力。
    2. 提高可用性:主库和从库可以部署在不同的服务器或机房,增加系统的容错性。即使某个从库出现故障,其他从库仍然可以继续提供读服务。
    3. 优化资源利用:主库可以专注于处理写操作,从库可以优化查询性能(如添加更多的索引、缓存等)。
  1. 缺点分析
    1. 数据一致性延迟:由于从库的数据是通过主库同步而来,可能存在一定的延迟(秒级或更长),导致读操作可能读取到旧数据。
    2. 复杂性增加:需要管理主从复制的配置和同步机制。需要处理主从切换、故障转移等复杂情况。
    3. 成本增加:需要额外的硬件资源来部署从库。需要额外的运维成本来维护主从架构。

5.应用场景

读写分离适用于以下场景:

  • 读操作远多于写操作系统:如电商系统、社交平台等,读操作远多于写操作。
  • 需要高可用性:通过主从架构提高系统的容错能力。

小结

读写分离是一种常见的数据库架构优化策略,通过将数据库的读操作和写操作分离,提高了系统的性能、可扩展性和高可用性。读写分离主流的实现技术是 Apache ShardingSphere,通过添加依赖,配置读写分离规则的方式就可以轻松的实现读写分离。

本文已收录到我的面试小站 [www.javacn.site](https://www.javacn.site),其中包含的内容有:场景题、并发编程、MySQL、Redis、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、JVM、设计模式、消息队列等模块。

相关推荐

IIR数字滤波器原理及实现方法

欢迎大家关注转发...

MATLAB机器学习工具箱

MATLAB机器学习工具箱MATLAB包含统计和机器学习工具箱(StatisticsandMachineLearningToolbox),其包含如下一些子模块:探索性数据分析、数据降维、机器学...

MATLAB二分法求方程的根(实例加程序)

零点的存在性定理早在高中阶段,我们就学习过函数的零点存在性定理。简单地说,对于区间[a,b]上的连续函数f(x),如果满足f(a)f(b)<=0,那么函数在[a,b]上至少存在一个零点。...

优化算法matlab大杀器 —— 实现秃鹰算法

注意:此代码实现的是求目标函数最大值,求最小值可将适应度函数乘以-1(框架代码已实现)。.代码实现...

实例讲解MATLAB绘图坐标轴标签旋转

在我们进行绘图时,需要在图片上添加上做标轴的标签,但是当数据量比较多时,例如一天24小时的数据,这时把每个小时显示在左边轴的标签上,文字内容放不下,因此需要将坐标轴标签旋转一定的角度,这样可以更好在图...

MATLAB的quiver函数绘制箭头向量图

MATLAB的quiver函数绘制箭头向量图,quiver函数的基本语法如下:基本语法...

「高中物理」电场和电势怎么理解?利用matlab工具完成可视化

高中物理给出了电场力和场强的计算方法,但是没给出电势的计算方法。下面先给出利用高中物理可接受的方法推导电势的公式可以看出电势就是场强的积分,也就是说场强是电势对距离的导数matlab做等量异种、同种...

Matlab绘制图像,imagesc和pcolor的区别【工作记录4】

注意:此文章主要针对本人在工作中遇到的问题进行记录和经验上的总结,难免存在错误和遗漏,如有任何问题,请留言,我会尽快回复。最近用Matlab绘制图像时,发现用pcolor和imagesc画图区别挺大...

Matplotlib 是Python中类似 MATLAB 的绘图工具

专栏推荐...

硬核浪漫!圣诞节给对象送礼的5个最没用小技巧

《圣诞节里吃饺子》...

MATLAB画一阶系统单位阶跃响应、单位脉冲响应、单位斜坡响应曲线

在确定系统的数学模型后,便可以用几种不同的方法去分析控制系统的动态性能和稳态性能。在经典控制理论中,常用时域分析法、根轨迹法或频域分析法来分析线性控制系统的性能。显然,不同的方法有不同的特点和适用范围...

奇怪的Matlab画图技巧系列2–不一样的线条标记

毕业季马上要到了,给大家总结一些我平常用到的奇特但是好用的Matlab画图技巧不一样的线条标记论文画图通过需要通过添加不同标记或者线形,区别不同类型的参数曲线,比较土豪的同学可以选择用颜色区别外加全部...

MATLAB画等高线的源程序和实例

源程序clearclcx=[60555951443937362944370121419191712323271415182429363937...

奇怪的Matlab画图技巧系列4–动图生成

毕业季马上要到了,给大家总结一些我平常用到的奇特但是好用的Matlab画图技巧MatlabGif动图保存毕业论文除了论文本身以外,在毕业论文的交流和最后的答辩过程中,通常需要制作PPT跟老师进行汇报...

Spring Boot 打包与部署全面指南:从基础到高级实践

前言作为Java开发者,掌握SpringBoot应用的打包与部署是必备技能。本文将全面系统地介绍SpringBoot应用的打包与部署方式,从基础到高级,涵盖各种场景和需求。...