关于信创之数据库改造的那些事

最近有个项目要进行信创改造,其中有一块就是数据库的改造。大致的过程就是金仓派了一个技术人员在给定的测试服务器上安装数据库，然后我方技术人员将数据从原有的数据库将库,表,数据,函数过程等迁入金仓的库，后续我们自行操作系统，哪里报错就改哪里。其中遇到问题要么自行网上找资料，或者询问该技术人员解决。这其中的坑还是踩了不少，特记录之。

项目原来使用的是mysql 版本为 5.7.10-log 改造后使用的数据库为金仓 版本为V8R6

第一步就是数据的迁移。最开始以为从MySQL导出，然后借助金仓的工具（用的KStudio）再执行一遍就可以了。当兴奋的将原有mysql脚本导入黏贴到Kstudio查询编辑器时执行时，报错了。此路不通，后续通过网上资料寻找，找到了金仓有这么个工具KDTS。该工具实际就是通过JDBC分别建立源库，目标库的链接 ，基于两端的规则对应（自行设置，比如字段类型对应等），再通过多线程进行迁移。这里迁移有个注意点,目标库有个兼容模式，目前用到的模式有oracle和pg两种。我们刚开始基于oracle迁移的，后来因为遇到个工作流A ctivity的问题，就 基于pg再迁移了一次。在迁移的过程中，如果就表这些迁移还是挺快的，若有外键索引 过程这些就慢 尤其是外键。 当然过程这些一般很难一次性成功的，有语法错误 这是后话。

第二步就是根据项目中发现的错误，挨个进行修复转化。下面记录一下遇到的一些改动。

2.1 项目采用Java语言编写，少不了驱动Jar的变更。由原有驱动Jar的pom坐标

<dependency>

<groupId>mysql</groupId>

<artifactId>mysql-connector-java</artifactId>

</dependency>

改成了 <dependency>

<groupId>com.kingbase8.jdbc</groupId>

<artifactId>kingbase8</artifactId>

<version>8.6.0</version>

</dependency>

2.2 反单引号的修改。因为使用了orm框架mybatis的自动创建功能，很多字段都自动给加上了反单引号（tab键盘上那个）。金仓不支持这个，需要改成双引号。举例 `name`改成”name”。这里需要注意下 比如关键字 也得加””，不然在金仓下就会报错。后面金仓的人说可以对关键字进行设置。另外，比如字段取别名，我们以前采取的是驼峰命名，到金仓这全变了小写，这里也通过加双引号的方式保持字段原状大写。例如 select count(1) AS 'listedItemCounts'改成了select count(1) AS "listedItemCounts"

2.3函数的不兼容修改。

比如field函数 在MySQL里是这样写

order by FIELD(business_status,3,2,11,1,4,5), create_date desc

在金仓里就得换成

order by

(case when business_status=3 then 1

when business_status=2 then 2

when business_status=11 then 3

when business_status=1 then 4

when business_status=4 then 5

when business_status=5 then 6

end

) , create_date desc

比如date_format函数，金仓压根没这个函数,只能用to_char。例如 AND date_format(approval_time, '%Y-%m-%d') >= #{startDate}改成了AND to_char(approval_time, '%Y-%m-%d') >= #{startDate}

比如判空的ifnull函数改成了coalesce函数

比如TRUNCATE函数改成用TAUNC函数

2.4groupby的问题 在mysql中groupby中的列与查询的列不一定要完全相同，但是在金仓下不行，必须查询的列出现在groupby中或者聚合函数里，其实这个改动还挺坑的，这么一改，有的查询结果都变了。后面咨询金仓的人，说也可以不改 但是要修改他们的系统参数sql_mode=’’就是了，好家伙，害我白改一堆得groupby。

2.5日期函数的问题 好多日期函数没得，这里通过安装扩展解决

create extension kdb_date_function;

2.6空字符串的问题，金仓会把空字符串存储为null 。这个真是够坑的，在工作流 activity下因为这个解决了好久。Col is null or col=’’硬是没查出数据。后面咨询金仓的人才知道

他们有个ora_input_emptystr_isnull 参数,而且这个参数的修改对已有的数据并不会起作用，也就是说 你最开始写的’’就给你转成了null但是你根据null去查询却查不到记录，让你一头雾水。这个参数最好一开始在迁移之前就确定好，后续等数据迁移了那就麻烦了。

2.7数据库概念的问题。mysql使用的是库,表 但是金仓不一样他中间还有个模式的东西，如果不做特殊处理 表的使用都得前面加个模式 。这里的做法就是建个和模式同名的用户即可。

2.8 金仓的表名 不允许以数字开头，我们系统中有分区的表 比如2023_summary 直接这么写报错，加个双引号就没事了。

第三步就是过程函数的迁移。这个其实也痛苦的， 一遍迁移下来 总共五个函数和15个过程，没一个是对的。这其中用到金仓的一个工具KDMS，这个可以帮你进行初步的转化，但是别高兴太早，在这里面转化后没错后然后复制出来丢到Kstudio里执行，各种语法错误让你茫然失措。在这很感谢金仓这个技术小哥，他帮了很大的忙，基本都是他改的，谁叫我们也不懂金仓的语法呢，其实mysql的语法也只懂那么多，毕竟我们是应用层 Java的crud工程师啊。后面在他的帮助下 也学会了用Kstudio进行过程 函数的调试。这里得吐槽下KStudio这个工具 ，花了半天的时间也没搞出那个函数过程的调试窗口，最后把安装目录下的一些文件删除了重建才好。这个工具Kstudio是金仓的人用eclipse改的，感觉也是个坑，难用得很。

下面说一下遇到的一些怪问题。

1. 金仓的数据库基于PG改的 他们的驱动jar也是 那个序列的start_value等居然是字符串类型的，搞的Java这层硬是不能将字符串转为long 后面按金仓的人指定重写了方言代码才完事

public class KingbaseDialect extends org.hibernate.dialect.Kingbase8Dialect {

@Override

public String getQuerySequencesString() {

String sql="select sequence_catalog, sequence_schema,sequence_name,data_type,"+

"numeric_precision,numeric_precision_radix,numeric_scale,"+" start_value::bigint,minimum_value::bigint,maximum_value::bigint,increment::bigint,"

+"cycle_option from information_schema.sequences";

System.out.println("sql:"+sql);

return sql;

}

}

谁叫国产的也有生态的问题呢 哎。

2修改后的sql在kstudio下执行没问题，但是应用中有问题 ，报语法错误。这个主要是我们系统使用了druid的wall拦截所致,也不想多做深究，干脆去掉了这个wall完事。说实在话阿里搞的这个wall还是真的很强大

3工作流Activity的问题 这个本来就是国外的 用mysql这个没事，但是换金仓的就不行，要么自行扩展代码支持，还有个就是用金仓提供的PG形态的驱动jar.

<dependency>

<groupId>com.postgresql.jdbc</groupId>

<artifactId>pg4229</artifactId>

<version>42.2.9</version>

</dependency>

代码原有的搞法

@Bean

public SpringProcessEngineConfiguration springProcessEngineConfiguration(){

SpringProcessEngineConfiguration spec = new SpringProcessEngineConfiguration();

spec.setDataSource(myRoutingDataSource);

spec.setTransactionManager(platformTransactionManager);

spec.setDatabaseType("mysql");

spec.setDatabaseSchemaUpdate("true");

spec.setLabelFontName("宋体");

return spec;

}

后面的搞法：

@Value("${spring.datasource.driverClassName}")

private String driverClassName;

@Value("${spring.datasource.url}")

private String url;

@Value("${spring.datasource.username}")

private String username;

@Value("${spring.datasource.password}")

private String password;

@Bean

public SpringProcessEngineConfiguration springProcessEngineConfiguration(){

SpringProcessEngineConfiguration spec = new SpringProcessEngineConfiguration();

spec.setJdbcDriver(driverClassName);

spec.setJdbcUrl(url);

spec.setJdbcUsername(username);

spec.setJdbcPassword(password);

spec.setDataSource(myRoutingDataSource);

spec.setTransactionManager(platformTransactionManager);

spec.setDatabaseType("postgres");

spec.setDatabaseSchemaUpdate("true");

spec.setLabelFontName("宋体");

return spec;

}

另外这个里面就是要注意下null和空字符串’’的问题 有些sql是Activity自动生成的，我们没法修改。

最后说下吧,信创这个真的很费劲,尤其换数据库这种。据说金仓也出了兼容mysql模式的这个迁移，但是他们的技术人员也不敢给我们使，也许坑太多了吧 哈哈。