【会议纪要】 tools sig组例会-2月7日 - Tools

11 Feb 2023


      会议议题申报及结论请参见https://etherpad.opengauss.org/p/Tools-meetings
2023-2-7
议题申报：
1.dblink支持通过odbc链接异构数据库设计方案评审（陈志凯）
2.portal对接datakit详细方案评审（刘桐）
3.支持XML类型 设计方案评审（刘恒）
4.ODBC windows版本发布设计方案评审（刘恒）
5.JDBC高可用优化需求设计方案评审（陈紫阳）
6.JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪）
7. CM支持容器化部署设计方案评审（张旭博）
8.Debezium全量迁移支持对mysql对象的迁移（彭思）
会议结论：
- 议题1：dblink支持通过odbc链接异构数据库设计方案评审（陈志凯）
评审结论：不通过
评审意见：
1. 更换为社区模板重新撰写
2. 完善细节，增加dblink系列函数用法等
3. 增加新接口，查询所有可用的odbc源
4. 修改消息序列图
5. 考虑数据类型等问题
- 议题2：portal对接datakit详细方案评审（刘桐）
评审结论：通过
评审意见：
1. 关于迁移进度展示：迁移工具持续生成文件去存包括时间在内的迁移进度，portal每隔一段时间（可配置）去查询文件，全量迁移未结束时，连续三次时间戳不更新就挂，如果用户有查询需求，就从portal中查询缓存。
2. 为了兼容以后可能做的反向全量迁移，清理全量校验产生的临时表需要在反向迁移之前进行。
3. 日志是否打到屏上需要加一个参数。
4. 启动计划用一个进程，停止计划用一个进程，使用发送信号量的方式进行进程间通信，通过workspaceID去标识要操作的任务，portal挂掉也使用这种方法去重启。
5. 用户单独使用portal和使用datakit启动portal的逻辑是一致的，不存在特殊场景。
6. 停止在线迁移时，首先在线迁移进程检测source和sink端是否数据已全部处理完，全部处理完后，停止在线迁移。增量迁移结束后，输出lsn，反向迁移开始时，校验lsn。
- 议题3：支持XML类型设计方案评审（刘恒）
评审结论：通过
评审意见：                
1. 补充了一些测试场景，验证升级和回退是否支持xml；
2. 连接jdbc, odbc，Data Studio是否支持xml；
- 议题4：ODBC windows版本发布设计方案评审（刘恒）
评审结论：通过
评审意见：
1. 补充了一些测试场景：验证多ip连接，当主机宕机后，备机是否可以正常使用；
2. 验证omp连接；
- 议题5：JDBC高可用优化需求设计方案评审（陈紫阳）
评审结论： 通过
评审意见：
1. 原有功能，缓存复用问题
2. 定时任务间隔时间能否可配置
- 议题6：JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪)
评议结论：通过
评审意见：
1.  开发完成后需要测试探活的代价。
2.  开发完成后进行与参数targetservertype的组合测试。
3.  有两个点需要与邮储对需求：
     a. 是否添加参数，控制快速负载均衡时关闭连接的数量
     b. 是否修改快速负载均衡的触发时机，改为定时触发
- 议题7： CM支持容器化部署设计方案评审（张旭博）
评审结论：通过
评审意见：
1. 添加约束-容器需要带上操作系统的shell这一层
2. 优先使用容器自身的参数-D来保证容器自身不退出
- 议题8：Debezium全量迁移支持对mysql对象的迁移（彭思）
评审结论：通过
评审意见：
1. 启动全量迁移时，增加配置文件的参数，即决定迁数据或对象
2. sink端：对象串行执行时，考虑依赖的问题，同时对象迁移考虑并发的情况，并行度通过模型计算或者给定min, max，提供自适应能力，抽取为公共能力
3. 迁移报错时，提供报错的列表，根据错误信息判断错误原因：（1）对象不存在，需重试，并设置最大重试次数；（2）语法不兼容，跳过，并记录错误信息。
4. 当部分表没有迁移时，要进行清理等，增加配置参数
5. 集成sql-translator项目时，考虑转与透传的三种情况，增加一个配置项，包含三种情形：（1）透传（2）转换（3）先透传再转换
6. 对象的校验，用户迁移自定义转换
7. 增加sever、event，自定义函数、表空间tablespace这些对象的迁移
8. 梳理变色龙全量迁移的控制参数，是否可在debezium中增加相关设置
9. 迁移对象时不用锁实例，一方面迁移时DDL操作在实际业务中往往受限，同时在对象校验时可作为补救，暂不需锁整个实例导致业务受阻
10 迁移对象的顺序：（1）迁移表（可串行）-> (2) 迁移对象（需考虑并行）-> (3) 迁移数据（按表并行） ->(4) 迁移索引和外键
Thanks & Best regards！
窦欣 (Dou Xin)
E-mail: douxin5@huawei.com
Department: openGauss Program
-----原始约会-----
发件人: openGauss conference [mailto:public@opengauss.org] 
发送时间: 2023年2月3日 9:22
收件人: tools@opengauss.org
主题: [Tools] tools sig组例会
时间: 2023年2月7日星期二 10:00-12:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。
地点:
您好！
openGauss Tools SIG 邀请您参加 2023-02-07 10:00 召开的Zoom会议(自动录制)
会议主题：tools sig组例会
会议链接：https://us06web.zoom.us/j/88082901040?pwd=R2JXcXZqeWxzVGJ6U0NPYisxeS9hdz09
温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID
提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings
更多资讯尽在：https://opengauss.org/zh/
Hello!
openGauss Tools SIG invites you to attend the Zoom conference(auto recording) will be held at 2023-02-07 10:00,
The subject of the conference is tools sig组例会,
You can join the meeting at https://us06web.zoom.us/j/88082901040?pwd=R2JXcXZqeWxzVGJ6U0NPYisxeS9hdz09.
Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com.
Add topics: https://etherpad.opengauss.org/p/Tools-meetings
More information: https://opengauss.org/en/