百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

产品切换数据库问题处理总结

wptr33 2025-02-26 14:04 18 浏览

数据库用于存放产品在使用过程中生成的数据,并用这些数据去支持产品完成功能的执行。随着数据库技术的发展,数据库产品越来越多,如Oracle、DB2、MongoDB、SQLServer、Mysql等。各种数据库之间互有差异,各有各的优势,在实际工作中,可根据具体情况选择适当的数据库。

以往数通畅联产品是基于Mysql进行开发,在实际项目中也是基于Mysql进行集成开发;在本次项目工作中,需要使用的数据库为Oracle数据库,但部分工作已通过Mysql环境完成开发,所以需要进行数据的迁移以及产品数据库切换,在这过程中出现了一些问题,在本篇文档中将对这过程中的问题进行整理,将问题的产生原因以及解决方式进行记录,以供后续回顾。

背景说明

本篇文档主要对本次切换数据库后进行功能测试的过程中遇到的问题进行整理记录,分析问题出现的原因、解决的办法以及后续如何能够避免出现同样的问题进行记录,以供后续通过本篇文档进行回顾。

1.项目架构

数据中台主要帮助进行全链路业务、全生命周期的数据管理,基于建立在数据仓库和数据平台之上,通过数据清洗导入、数据同步/分发、数据处理、分析等技术,对企业内外部海量数据进行采集、存储、计算、加工、分析等,从而为企业的业务决策提供数据方面的参考,用数据为公司业务、营销、管理赋能。

2.工作介绍

本次工作是在产品从Mysql切换为Oracle,同时完成以往配置迁移后,对产品功能进行测试,保障产品在完成数据库切换后,功能可以正常使用,使后续集成工作可以顺利开展。在测试的过程中,一定会出现一些问题,在处理问题的过程中,对问题进行记录,后续尽可能避免出现相同问题,也可以在后续出现相似问题时可以快速进行处理。

3.差异分析

Mysql和Oracle都是关系型数据库,可以应用于各种平台。在Oracle中创建一个数据库,数据库下有好多用户:sys,system,scott等,不同用户下还有好多表。但Mysql的默认用户是root,用户下可以创建好多数据库,每个数据库下还有好多表。同时两个数据库的SQL语法也有着差异,如:

1.Oracle中select语句后边的from是不能省略的,如果没有实际的表,可以用dual作为from的目的表,Mysql中from则是可以省略的;

2.Oracle中分组语句如果某列名不作为分组依据,及没有出现在group by后,则该列名是不允许放到select后边的,Mysql则没有此限制;

3.Oracle左连接,右连接可以使用(+)来实现. Mysql只能使用left join ,right join等关键字等等。

测试说明

每个产品乃至每个功能,在开发完成或是优化完成之后,都需要对其进行测试,用于发现问题点并进行处理,保障在实际使用的过程中,不会因为产品中出现的问题而影响到实际的工作效率。

1.测试目的

本篇文档主要对于主数据以及集成开发部分所需要使用到的功能点在测试过程中出现的问题以及解决办法进行介绍。由于产品是从Mysql数据库切换为Oracle数据库,由于两个数据库的SQL语句存在着差异,部分类型的数据在使用时也存在着不同,所以在切换过程中一定会存在处理不全面导致功能异常的问题;所以出现了本次的测试工作,本次测试的目的就是为了查找产品调整过程中考虑不全面的功能点,提高产品功能在实际使用中的可靠性。

2.测试重点

本次测试主要围绕着主数据平台进行,保障数据集成过程中所需要使用到的各项功能点,具体测试功能点如下:

1.页面显示效果,验证数据显示是否有异常;

2.页面新增、删除、启用、禁用等按钮功能是否正常;

3.MDC中数据建模是否能够生成对应的数据表,生成后的字段名称、字段类型、字段长度是否正确;

4.MDC功能建模能否进行创建,初始化的表单中字段与数据建模是否保持一致,以及SQL解析是否正确,数据管理页面能否根据解析出的SQL进行数据过滤查询;

5.验证数据同步接口功能是否正常,数据能否完成导入;

6.验证配置统一分发接口后,在BPM流程进行调用是否能够调用成功。

3.测试思路

在上文中对需要测试的功能点进行了介绍,在具体测试时可以按照实际使用步骤进行测试,将上述功能进行分类,并完成功能验证,具体如下:

1.进行数据建模、功能建模,在这过程中对这两个功能模块中的细节进行验证;

2.验证页面能否正常打开,打开后的显示效果有无异常;

3.进行源头系统数据同步,在这过程中验证数据同步接口的功能,同步后可验证数据详情页面以及各按钮的功能;

4.配置统一分发接口,使用手动创建的虚拟接口验证统一分发接口能否完成接口调用,数据下发有无异常。

测试过程

上文已对具体测试思路进行了介绍,并对需要测试的功能进行了分类;在本章节中,将具体介绍实际测试过程,本次测试过程也是主数据在数据集成工作中的实际使用步骤;未防止误解,在本章节中的截图都为经过调整后的最终效果。

1.模型构建

在MDC的基础数据建模中点击新增,配置主数据的基本信息、来源系统以及分发系统,如图:

双击新增的数据模型即可对该模型进行字段的配置,如图:

点击创建表即可完成对该主数据相关的数据表结构的创建,如图:

在MDC的功能配置中点击新增,如图:

在填写并配置完成主数据功能模型的基础信息之后,点击表单信息可以对该主数据的具体页面显示效果进行调整,位置如图:

打开管理列表对数据管理页面中的显示效果进行调整,如图:

打开管理表单调整数据详情页面的显示效果,如图:

在SQL中点击解析SQL并进行部署即可完成功能模型的调整,如图:

2.同步测试

本次主要用于接口功能测试,所以使用的流程为未调整的数据初始化流程,并进行一条数据的同步,如图:

查看临时表中是否有数据新增,如图:

查看真实表是否有数据写入,如图:

验证日志是否生成,如图:

点击禁用按钮,验证按钮功能,如图:

验证启用按钮功能,如图:

验证数据详情页面是否显示正常,如图:

3.统一分发

打开需要分发的下游业务系统,添加需要分发的主数据,如图:

双击主数据配置字段权限,如图:

点击接口配置,填写目标系统接收数据接口,本次为测试接口,如图:

选择数据,生成任务并提交,通过BPM流程调用统一分发接口,验证数据是否分发成功,如图:

在分发日志中验证数据是否分发成功,如图:

问题总结

在对产品功能进行使用、测试的过程中,遇到了一些问题,有预料之中的问题,也存在预料之外的问题;在本章节中,将对这些问题进行整理归纳,并描述这些问题是如何解决的。

1.问题描述

本次验证过程遇到的问题中,有SQL差异引起的问题、字段差异引起的问题、编写代码时考虑不足引起的问题,其中较为典型的问题如下:

1.数据建模添加字段后,无法对应修改数据表中的字段;

2.临时表以及真实表接口在数据同步过程中,无法完成数据的写入;

3.数据大量同步时,会出现无法进行数据同步的情况。

2.问题分析

在处理上述问题以及其他零散问题的过程中,发现有很多问题是由于Oracle以及Mysql数据库之间的差异引起的,这些问题大多是由于对Oracle的SQL处理不熟悉,在Mysql切换为Oracle时没有注意到引起的;其次就是由于不够细心,一些字段类型没有进行修改,导致功能使用出现异常;最后就是接口性能需要优化,以往的接口在开发时考虑不周,导致接口在大批量数据进行调用时出现异常。

3.解决方法

在测试过程中,出现了大大小小的问题,在出现的问题中,多为两个数据库之间的SQL差异或是字段使用差异引起的,在上文中列出了几个或是典型或是不该出现的问题,解决方式如下:

1.数据建模中预置的字段类型为Mysql的字段类型,切换为Oracle类型该问题解决

2.时间类型字段在数据同步到接口中后,在字符串以及时间相互转换的过程中,出现‘.0’导致数据同步失败;

3.数据在大量同步时,游标数超出了最大游标数,后调整代码将使用到链接的位置在不使用时进行关闭,该问题解决。

总结归纳

本次主要完成了主数据部分在数据集成过程中需要使用的功能点的测试,在测试过程中也出现了大大小小的问题,这些问题在测试的过程中暴露了出来,经过调试后,产品的性能得到了进一步的优化。

1.工作总结

本次主要进行产品功能测试,在本次工作中,对于主数据在数据集成的过程中需要使用到的数据建模、功能建模、数据管理、数据详情、统一分发等一系列功能进行了测试,将期间出现的问题进行反馈并协助完成功能调试,使产品接口的性能以及产品的功能点得到了完善;同时通过本次工作结果,产品如再次进行数据库的切换操作,需要考虑哪些位置已明确。

2.后续规划

在完成主数据这部分功能的测试后,经过对代码的调整,已经消除了比较容易出现的问题点,虽然后续很可能出现其他的问题,但这是一款软件所无法避免的,人工开展的工作必然会出现差错,像本次开展的测试工作,正是尽可能的去将问题更早的暴露出来并进行调试,提高产品功能的可靠性以及可用性,保障产品在实际使用时,问题尽可能少的出现乃至于不出现问题。通过本次工作的结果,后续在产品功能开发时,相信会考虑得更加全面,在保障功能可用性的同时优化产品性能

3.心得总结

任何一款产品,进行数据库的切换操作都是需要非常谨慎的,其中涉及到非常多的差异,如SQL写法差异、函数使用差异、字段处理差异等等,这点在实际集成开发、进行数据库读写时也是需要注意的,在本次测试时也为后续项目集成开发需要注意的位置打下了基础。

通过本次测试,发现了数据库切换引起的功能异常,也发现了产品性能有待优化之处,在后续的工作中,将对产品其余接口进行测试,如能保持在大量数据调用下的稳定,相信在后续实际使用的过程中,也不会出现问题,这也正是项目前期工作的一部分,在开发环境完成各项功能的测试,保障正式环境产品的可靠性。

本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~

相关推荐

MySQL进阶五之自动读写分离mysql-proxy

自动读写分离目前,大量现网用户的业务场景中存在读多写少、业务负载无法预测等情况,在有大量读请求的应用场景下,单个实例可能无法承受读取压力,甚至会对业务产生影响。为了实现读取能力的弹性扩展,分担数据库压...

Postgres vs MySQL_vs2022连接mysql数据库

...

3分钟短文 | Laravel SQL筛选两个日期之间的记录,怎么写?

引言今天说一个细分的需求,在模型中,或者使用laravel提供的EloquentORM功能,构造查询语句时,返回位于两个指定的日期之间的条目。应该怎么写?本文通过几个例子,为大家梳理一下。学习时...

一文由浅入深带你完全掌握MySQL的锁机制原理与应用

本文将跟大家聊聊InnoDB的锁。本文比较长,包括一条SQL是如何加锁的,一些加锁规则、如何分析和解决死锁问题等内容,建议耐心读完,肯定对大家有帮助的。为什么需要加锁呢?...

验证Mysql中联合索引的最左匹配原则

后端面试中一定是必问mysql的,在以往的面试中好几个面试官都反馈我Mysql基础不行,今天来着重复习一下自己的弱点知识。在Mysql调优中索引优化又是非常重要的方法,不管公司的大小只要后端项目中用到...

MySQL索引解析(联合索引/最左前缀/覆盖索引/索引下推)

目录1.索引基础...

你会看 MySQL 的执行计划(EXPLAIN)吗?

SQL执行太慢怎么办?我们通常会使用EXPLAIN命令来查看SQL的执行计划,然后根据执行计划找出问题所在并进行优化。用法简介...

MySQL 从入门到精通(四)之索引结构

索引概述索引(index),是帮助MySQL高效获取数据的数据结构(有序),在数据之外,数据库系统还维护者满足特定查询算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构...

mysql总结——面试中最常问到的知识点

mysql作为开源数据库中的榜一大哥,一直是面试官们考察的重中之重。今天,我们来总结一下mysql的知识点,供大家复习参照,看完这些知识点,再加上一些边角细节,基本上能够应付大多mysql相关面试了(...

mysql总结——面试中最常问到的知识点(2)

首先我们回顾一下上篇内容,主要复习了索引,事务,锁,以及SQL优化的工具。本篇文章接着写后面的内容。性能优化索引优化,SQL中索引的相关优化主要有以下几个方面:最好是全匹配。如果是联合索引的话,遵循最...

MySQL基础全知全解!超详细无废话!轻松上手~

本期内容提醒:全篇2300+字,篇幅较长,可搭配饭菜一同“食”用,全篇无废话(除了这句),干货满满,可收藏供后期反复观看。注:MySQL中语法不区分大小写,本篇中...

深入剖析 MySQL 中的锁机制原理_mysql 锁详解

在互联网软件开发领域,MySQL作为一款广泛应用的关系型数据库管理系统,其锁机制在保障数据一致性和实现并发控制方面扮演着举足轻重的角色。对于互联网软件开发人员而言,深入理解MySQL的锁机制原理...

Java 与 MySQL 性能优化:MySQL分区表设计与性能优化全解析

引言在数据库管理领域,随着数据量的不断增长,如何高效地管理和操作数据成为了一个关键问题。MySQL分区表作为一种有效的数据管理技术,能够将大型表划分为多个更小、更易管理的分区,从而提升数据库的性能和可...

MySQL基础篇:DQL数据查询操作_mysql 查

一、基础查询DQL基础查询语法SELECT字段列表FROM表名列表WHERE条件列表GROUPBY分组字段列表HAVING分组后条件列表ORDERBY排序字段列表LIMIT...

MySql:索引的基本使用_mysql索引的使用和原理

一、索引基础概念1.什么是索引?索引是数据库表的特殊数据结构(通常是B+树),用于...