欢迎光临散文网 会员登陆 & 注册

【数据库迁移系列】从MySQL到openGauss的数据库对象迁移实践

2022-11-15 19:46 作者:Gauss松鼠会  | 我要投稿

9月30日新发布的openGauss 3.1.0版本 ,工具的全量迁移和增量迁移的性能不但有了全面提升,而且支持数据库对象视图、触发器、自定义函数、存储过程的迁移。

  • 工具链:MySQL全量迁移支持并行迁移,提升全量迁移性能

    通过支持表级并行迁移,提升MySQL全量迁移性能,基于sysbench测试模型,在Kunpeng-920 2p服务器上,10张表(单表容量三百万以上)使用10并发迁移,可达到大于300M/s的迁移性能。

  • 工具链:MySQL增量迁移支持十五级并行消费,提升增量迁移性能

    基于开源三方件mysql-binlog-connector-java解析mysql的binlog, 并根据mysql主备进行复制的原理,对可并行的事务在openGauss端采用多线程进行并行回放,以实现MySQL到openGauss的在线迁移。

    利用sysbench对MySQL压测,在10张表30个线程并发情况下,IUD混合场景下,在Kunpeng-920 2p服务器上测试整体增量迁移性能可达3w tps.

  • 工具链:支持基于默克尔树的数据校

    实现基于默克尔树的数据实时校验工具,支持MySQL数据迁移到openGauss时,源端与目的端数据全量和增量校验。

本篇就来分享一下使用chameleon工具进行从MySQL到openGauss的数据库对象迁移实践。

软件安装

1. 由于我之前已经安装过3.0版本的工具了,需要先卸载一下。

2.从官网https://opengauss.org/zh/supporttools.html 获取获取工具包:chameleon-3.1.0-py3-none-any.whl

图片

3.将新的3.1.0工具上传到openGauss数据库所在节点的chameleon文件夹下。

最后提示“Successfully installed chameleon-3.1.0”说明安装成功。

4. 设置配置文件。这里继续使用之前已经配置好的 default.yml.

切换到omm 用户进行操作。


数据库对象迁移测试

初始化迁移过程

除了基础数据同步,chameleon还支持将视图、触发器、自定义函数、存储过程从MySQL迁移到openGauss。以下四个命令无先后之分。若不想日志输出到控制台,可去掉--debug参数。

复制视图:

chameleon start_view_replica --config default --source mysql --debug

复制触发器:

chameleon start_trigger_replica --config default --source mysql --debug

复制自定义函数:

chameleon start_func_replica --config default --source mysql --debug

复制存储过程:

chameleon start_proc_replica --config default --source mysql --debug

此外,工具还提供了可以在对象迁移信息表sch_chameleon.t_replica_object中查看迁移对象的记录能力。下表展示了t_replica_object表的字段说明。

视图迁移

1. mysql 构造视图数据。

图片

2. 工具执行视图迁移命令

chameleon start_view_replica --config default --source mysql --debug

图片

3.在openGauss侧查询视图,迁移成功。注意查询的时候需要携带schema:mysql_db1_sch,视图名称和mysql 中定义的一致,都是test1_view。

图片

触发器迁移

1.mysql 构造如下触发器:每删除一条test1中的数据,就向test2表中插入一条记录。

2.工具执行命令,成功

chameleon start_trigger_replica --config default --source mysql --debug

图片

3.openGauss侧测试触发器

从测试结果来看,触发器是直接生效的,test2中已经成功插入了数据。

图片
图片

自定义函数迁移

1. 在MySQL侧构造了两个简单的函数。

2. 启动迁移操作,如下图所示,总共两个,成功两个。

chameleon start_func_replica --config default --source mysql --debug

图片

3. openGauss侧直接测试函数调用,也是OK的。注意携带schema。

图片

存储过程迁移

1. 在MySQL侧构造了一个简单的存储过程。

2. 工具侧执行迁移,提示总共一个,成功一个。

chameleon start_proc_replica --config default --source mysql --debug

图片

3.openGauss直接测试调用,也是OK的。

图片

Q&A

1、迁移数据库对象过程中报类似错误“‘replica_engine’ object has no attribute ”

这个错误的话是工具3.0.0之前版本还不支持 ,请确认工具版本是3.1.0。

2、迁移触发器限制

工具执行迁移命令 ,结果失败了。

openGauss不支持这种变量名加@,因此,实际迁移前需要仔细查看工具使用约束。


【数据库迁移系列】从MySQL到openGauss的数据库对象迁移实践的评论 (共 条)

分享到微博请遵守国家法律