【备份etherpad内容】openGauss tools sig （from 20220823 to 20240117）

17 Jan 2024

      大家好，由于etherpad内容经常出现乱码，因此对etherpad内容进行备份。

etherpad链接：https://etherpad.opengauss.org/p/Tools-meetings

2024年1月17日
议题申报：
1、讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）
直接fork整个工程，还是在opengauss.org官网增加跳转链接？
2、【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣）
3、【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正）
4、【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博）

评审意见：
议题1：讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）
会议结论：直接在社区上增加一个新的空项目，在README中增加各种压测工具的链接
每个工具都可以建立子目录，对应的文档统一归档，包括性能优化文档链接和工具的性能结果

议题2：【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣）
1、kafka和迁移工具支持安装在不同的机器上：当前datakit安装迁移插件绑定已安装部分已支持kafka和迁移工具部署在不同机器上
2、portal运行命令后期可采用形如-i start/stop/install -o mysql/oracle -f online/offline等格式，独立命令解析模块，并支持子命令 --help提示和整体--help提示
3、多任务以链式进行组合，多个并行命令可组合成一个整体，实现过程考虑灵活性和扩展性。

议题3：【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正）
1、搭建容灾集群的时候选择主备集群角色，在界面上提示需要满足的具体的条件，如果不满足，后续搭建流程会失败；
2、拆分gs_ddr工具为两个阶段执行；在Datakit上为有明确返回的执行过程

议题4：【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博）
1. 很多用户会禁用root，只能用子用户做扩容。后面datakit也不保存root权限。需要给出来在子用户做扩容时候给出来前置要做的步骤脚本。

2023年12月26日
议题申报：
1、提名申正成为工具链committer
2、openGauss hibernate方言包支持

评审意见：
议题1：提名申正成为工具链committer
会议结论：一致同意申正为工具链committer

议题2：openGauss hibernate方言包支持
会议结论：先由内部整理openGauss方言，包括数据类型、关键字、函数等，之后可由伙伴协助对接至hibernate、liquebase等生态。

2023年12月5日
议题申报：
1、【平台适配】新增CSIOS(中软国际磐石操作系统)编译支持（主讲人：刘征）

评审意见：
议题1：【平台适配】新增CSIOS(中软国际磐石操作系统)编译支持（主讲人：刘征）
同意新增CSIOS编译支持，可提交代码至server仓库，但官方正式发布版本不提供该操作系统发布包。

2023年11月27日
议题申报：
1、【内核DFX】支持打印工具的进度条checkin评审（主讲人：李居隆）

评审意见：
议题1：【内核DFX】支持打印工具的进度条checkin评审（主讲人：李居隆）
1、研究是否可以打印进度时附带文件具体信息
2、单文件长时间卡顿进度无变化，可以考虑进度相同时添加变化让用户知晓程序仍在进行
3、通知测试关注进度条信息与实际进度的一致性
4、Check in其他基础检查项通过

2023年11月21日
议题申报：
1、【工具链】Datakit支持资源池化安装设计方案评审（主讲人：申正）
2、【工具链】支持数据库向导式一站式安装工具，简化安装流程、快速上手设计方案评审（主讲人：张傲）

评审意见：
议题1：【工具链】Datakit支持资源池化安装设计方案评审（主讲人：申正）
1、单集群安装：
考虑是否可以在界面显示LUN列表，让用户选择，校验界面上的盘符；
内核架构：将界面显示的“传统架构”改为“主备架构”；env路径支持自配置；
DSS卷支持配置多个volume，支持dsscmd adv扩容
xlog卷名和盘符支持多个LUN的配置；
如果选择RDMA的话，提示RDMA安装包的获取方式，并检查RDMA包是否存在；
异常终止后需要清理，保证下一次安装正常；
2、双集群安装：
资源池化双集群安装时，考虑是否可以从两个单集群组合成双集群，目前不满足双集群搭建的约束条件；
双集群安装的时候，前端主备集群需同时启动安装；
双集群管理需要考虑界面显示方式和异常情况的处理；

议题2：【工具链】支持数据库向导式一站式安装工具，简化安装流程、快速上手设计方案评审（主讲人：张傲）
1、路径信息和端口信息展示，让用户查看，不修改就采用默认。
2、性能模式、生产参数；是否可以带进来？
3、主备最大高可用，用户提示？
4、最后添加回显？让用户确认信息。
5、将OM的原有校验逻辑，添加进来，提前做校验。

2023年11月7日
议题申报：
1、【内核DFX】支持打印工具的进度条设计方案评审（主讲人：李居隆）
2、【工具链】数据校验支持对对象的校验特性（主讲人：王超）

评审意见：
议题1：【内核DFX】支持打印工具的进度条设计方案评审（主讲人：李居隆）
1、所有工具打印进度尽量不加命令行参数控制，默认执行时打印进度，自测性能影响
2、自测java中能否对打印信息进行捕获
3、所有打印操作另起进程，实现更新进度与打印进度进程分离
4、gs_probackup工具考虑并发

议题2：【工具链】数据校验支持对对象的校验特性（主讲人：王超）
1、Oracle数据库迁移OpenGauss数据校验支撑需求：联系南大尽快修改合入代码进入转测流程
2、数据校验增加对象校验特性需求：
     针对例程、视图的SQL定义比较，将原始SQL解析为语法树，通过比较抽象语法树结果方式进行比较。
     调研yylex语法文件转换altlr4语法文件工具或方法

2023年11月2日
议题申报：
1、【datakit】Mysql迁移过程增加预操作和切换前检查设计方案评审（主讲人：吴北斗）
2、【内核DFX】支持打印工具的进度条设计方案评审（主讲人：李居隆）

评审意见：
议题1：【datakit】Mysql迁移过程增加预操作和切换前检查设计方案评审（主讲人：吴北斗）
1、单个子任务占用磁盘大小计算方式-遗留
2、同一个执行机多个子任务的磁盘空间大小计算--使用文件锁，每个进程先获取锁，获取到锁后再读并写入，否则阻塞等待锁的释放
3、数据库连接不上时，binlog参数和磁盘空间满足直接展示"-"
4、根据是否追平&&增量校验校验通过来弹框显示不同的提示信息
5、数据库迁移需要的最小权限-遗留
6、kafka资源保存时间改为3天以及清理策略，不在此特性考虑和实现
7、临时资源的清理放在各个工具

议题2：由于时间原因，议题二将在下周会议上评审

2023年10月24日
议题申报：
1、【工具链】portal配置优化设计方案评审（主讲人：王巍巍）
2、【datakit】Mysql迁移过程增加预操作和切换前检查设计方案评审（主讲人：吴北斗）

评审意见：
议题1：【工具链】portal配置优化设计方案评审（主讲人：王巍巍）
1、 工具配置方式修改：安装portal时，从工具包中解压获取各个工具的配置文件 删除portal包中的配置文件，datakit支持工具参数的修改 不支持新增 删除
2、 Kafka zk等第三方工具支持选择主机 目录进行安装，不支持配置用户的kafka实例
3、 Kafka 实例卸载需要检查使用的任务是否停止 有任务正在使用不能卸载
4、 全局配置参数需要绑定安装portal的主机 支持不同版本的portal配置下发

议题2：由于时间原因，议题二将在下周会议上评审

2023年9月12日
议题申报：
1、psycopg2驱动发布流程变更提案（主讲人：恩墨——姚前）

评审意见：
议题1：psycopg2驱动发布流程变更提案（主讲人：恩墨——姚前）
同意psycopg2驱动发布流程变更方案，并请刘恒同步实施新的驱动包发布方案，930发包以新方案实施，并协助官网前端负责同事更新下载列表。
openGauss官网psycopy2驱动下载列表item需展开，支持单独下载不同python版本的安装包。

2023年8月22日
议题申报：
1、【OM工具】数据库安装、扩容、升级流程解除对root用户的依赖需求设计评审(刘恒)
2、【校验工具】数据校验能力增强方案评审（吕林涛）
3、【迁移工具】全量迁移工具能力增强（蒋宏博）
4、  datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（刘军鹏）

评审意见：
议题1：【OM工具】数据库安装、扩容、升级流程解除对root用户的依赖需求设计评审(刘恒)
1、gs_preinstall和checkos对于涉及文件权限的，需要整理出来一份清单，方便用户提前操作
2、对于cm的场景也要做下适配
3、datakit这边也要做对应的适配

议题2：【校验工具】数据校验能力增强方案评审（吕林涛）
1、数据校验能力增强，需要控制分区数，对比分片完整落入一个分区和多个分片交叉落入一个分区方案差异
2、增加针对抽取快、校验慢问题对应的流控处理手段，补充相关DFX功能设计

议题3：【迁移工具】全量迁移工具能力增强（蒋宏博）
1、对于几何类型等二进制类型，验证一下是否可以不使用ST_AsText()转换，直接在opengauss端进行回放。
2、工具异常重启跳过已经迁移完成的表，考虑从csv文件导入数据的场景

议题4：datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（刘军鹏）
议题4将在后续以show case形式演示

2023年8月1日
议题申报：
1、OM工具解除操作系统的依赖校验（张傲）
2、datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（蒋宏博）

评审意见：
议题1：OM工具解除操作系统的依赖校验（张傲）
1、调研国内其他闭源、开源数据库对OS定位限制；
2、增加不在支持OS列表中的OS测试；

议题2：datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（蒋宏博）
1、用户进程在远程主机和本机的场景可以使用同一套框架。
2、提供拉起用户程序方式。
3、提取到的sql，要拿到对应的函数调用栈，并以文件形式输出。
4、支持周期性的sql收集。
5、动态插桩为侵入式的方式，需跟客户同步该方案。

2023-07-25
议题申报：
1、开箱即用工具gs_perfconfig设计评审（胡正超）
2、增量迁移、逆向迁移工具能力增强设计方案评审（王正元）
3、chameleon解除跨平台依赖特性设计方案评审（刘桐）
4、openGauss支持ceph部署资源池化设计方案评审（张旭博）
5、benchmark工厂插件任务管理设计方案评审（李睿祥）

评审意见：
议题1：开箱即用工具gs_perfconfig设计评审（胡正超）
1、对于xlog分盘的调整，可以列出来磁盘，供用户选择。
2、考虑资源池化场景。
3、bios的设置，存在一些工具可以读取，在操作系统层面也能间接看到，但不一定全，可以考虑使用这些进行简单探测。
4、新增参数 --apply， 工具默认不进行调整，只给出建议，只有--apply之后才具体的调整。
5、类的设计要具备可扩展的能力。

议题2：增量迁移、逆向迁移工具能力增强设计方案评审（王正元）
1、增量迁移涉及主外表关联关系的ddl操作将两张表对应的线程合并后再执行
2、portal评估系统资源并按照系统资源配置启动参数的功能规划并跟进
3、创建脚本，根据portal配置的启动参数去修改confluent启动脚本的参数
4、增量迁移按表并行还是按事务并行由source端参数控制，该参数通过kafka传到sink端
5、openGauss端jdbc设置session_timeout=0再加入超时重连机制，MySQL端加入超时重连机制
6、跟进增量迁移按表并行时的断点续传功能适配
7、调研kafka数据文件占用磁盘过多时的解决方案

议题3：chameleon解除跨平台依赖特性设计方案评审（刘桐）
1、tar.gz包安装失败后使用whl包重试。
2、安装时需要检测系统小版本（防止用户输错版本）。
3、安装chameleon的虚拟环境时安装包尝试进行裁剪。

议题4：openGauss支持ceph部署资源池化设计方案评审（张旭博）
1、 对比测试下rbd和通过iscsi的读写性能差距，使用dd或fio工具
2、考虑适配多路径配置，提高可靠性
3、 对于om工具添加对应的卸载能力
4、重点测试下倒换能力，故障后能否能够去掉注册，继续访问磁盘。 测试断开网络连接集群表现

议题5：benchmark工厂插件任务管理设计方案评审（李睿祥）
1、创建一个单独的database保存benchmark工厂的插件
2、确定插件中使用websocket依赖的可行性

2023-07-18
议题申报：
1、【迁移工具】Datakit Oracle 迁移插件设计方案（南大通用-王睿博）
2、【 迁移工具】支持免部署单机版迁移工具（软通-田可辉）
3、 Datakit Web Data Studio支持调试匿名块（李秦朗）

评审意见：
议题1：【迁移工具】Datakit Oracle 迁移插件设计方案（南大通用-王睿博）
初步评审通过，可进行开发，后续开发完成后需细化并再次评审文档，并关注性能指标。

议题2：【迁移工具】支持免部署单机版迁移工具（软通-田可辉）
与现有迁移工具存在较多重复，为开发者讲解datakit还需补齐的能力，希望开发者可以通过承接datakit需求参与到社区开发。

议题3：Datakit Web Data Studio支持调试匿名块（李秦朗）
由于会议信号较差，议题3自行组织评审

2023-06-06
议题申报：
1、【迁移工具】反向迁移支持全量迁移（陈紫阳）
2、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
3、【迁移工具】支持源端是openGauss和csv文件的校验（王正元）

评审意见：
议题1：【迁移工具】反向迁移支持全量迁移（陈紫阳）
评审意见：
1.文件夹总大小控制避免过大
2.对接portal以及datakit，进度上报
3.数据类型转换
4.sink端线程分发逻辑
5.断点续传
6.反向增量迁移对接快照点

议题2：【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
评审意见：
1.长时间未中断，断点消息内需要从大小和时间两个维度执行清除策略
2.增量迁移内，已实现事务级回放，不需要对事务内SQL语句在线程执行时记录到断点信息呢，只需记录整个事务的执行结果

议题3：【迁移工具】支持源端是openGauss和csv文件的校验（王正元）
评审意见：
1、对待校验的csv文件格式与来源要做规定--仅限变色龙全量迁移导出的csv文件
2、源端是openGauss与csv文件时要支持由portal管理，与datakit对接
3、对忽略的无主键表要有日志提示，在进度文件上要有体现

2023-05-30
议题申报：
1、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）
2、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）
3、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
4、【迁移工具】反向迁移支持全量迁移（陈紫阳）

评审意见：
议题1：【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）
评审意见：
（1）结合参数keep_existing_schema，支持不连接源端mysql数据库，可支持数据导入
（2）需结合机器核数和并行度，默认设置合理的索引并行度，当前默认值16在4c16g配置上可能不够合理

议题2：【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）
评审结论：
当前全量迁移chameleon构造表的DDL采用系统表查询并拼接的方式构造DDL，当前版本维持不变。后续演进中，伴随兼容性较完善，全量迁移可采用show create table name查询表的定义。

议题3：【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
评审意见：
（1）异步提交offset是否在sink端获取数据，多线程执行回放后？
（2）在每个线程执行回放后记录断点信息，是否会存在回放了，但是没有记录到断点信息？
（3）方案内部记录所有的回放结果，是否太重了，有没有更好的方案。

议题4：由于时间关系，议题4在下周会议进行评审。

大家好，
   openGauss社区2023年度开发者大会将于2023年5月26日在北京·昆泰嘉瑞文化中心举办，届时Tools也会线下组织SIG版本规划工作会议，
   集中讨论用户需求、未来技术发展、工作任务分工等，在此诚邀您的参与。

时间：2023年5月26日 16:00-17:30
地址：北京·昆泰嘉瑞文化中心
现场参会需提前报名： https://e-campaign.huawei.com/m/6vaqiy

与会人员:
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Please add your name and gitee_id below.
熊小军 xiong_xjun
贺承汉 he-chenghan
彭炯 totaj
周斌 justbk
窦欣 ywzq1161327784
李春 woqutech_0
李凯

【议题申报+发起人】：
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Please include the topic, a brief description, link of your name and gitee ID with your topic
(At this point, the ordering is arbitrary, the SIG maintainers will arrange orders when we have a finalized list, roughly 3 days before the meeting)
请填写您想要提交的议题内容，包括议题发起人，简单的议题说明，Issue 反馈的在线地址，已有的技术方案或PR，已有的讨论纪要等。

1、Datakit增加opengauss第三方双向同步能力(沃趣-李春)
2、jdbc增加java6和java7的特性分支(华为-周斌) https://gitee.com/opengauss/openGauss-connector-jdbc/issues/I60Z98?from=proj...
3、datakit支持兼容性评估(蒋宏博)
4、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）
5、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）
6、 dolphin轻量版版本基于cmake的编译测试checkin  （王修强-云和恩墨）
7、show open tables+storage engines+slave status需求 checkin评审（移动）
8、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
9、【迁移工具】反向迁移支持全量迁移（陈紫阳）

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

20230526会议纪要：
议题申报：
1、Datakit增加opengauss第三方双向同步能力(沃趣-李春)
2、jdbc增加java6和java7的特性分支(华为-周斌) https://gitee.com/opengauss/openGauss-connector-jdbc/issues/I60Z98?from=proj...
3、datakit支持兼容性评估(蒋宏博)
4、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）
5、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）
6、 dolphin轻量版版本基于cmake的编译测试checkin  （王修强-云和恩墨）
7、show open tables+storage engines+slave status需求 checkin评审（移动）
8、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
9、【迁移工具】反向迁移支持全量迁移（陈紫阳）

评审意见：
1、Datakit增加opengauss第三方双向同步能力(沃趣-李春)
遗留问题：无
2、jdbc增加java6和java7的特性分支(华为-周斌)
评审结论：同意jdbc增加java6和java7的特性分支
3、datakit支持兼容性评估(蒋宏博)
评审意见：sql文件作为输入时，每条sql以分号作为分隔符可能存在sql解析不正确的情况

其余议题4、5、8、9因为时间关系将在20230530的tools sig会议上评审。
议题6、7将在plugin sig进行评审。

2023-5-11
议题申报：
1.数据全量校验性能提升150M（王超）
2.迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）

会议结论：
1.数据全量校验性能提升150M（王超）
评审结论：通过
评审意见：
1、增加不同表平均长度验证fetchSize大小对性能影响
2、验证ANALYZE 对tables.table_rows的影响
3、测试场景使用sysbench测试模型,与迁移保持一致。

2.迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
评审结论：不通过
评审意见：
按照dbox文档评审意见答复检视意见，并结合意见修改和完善设计文档

2023-4-11
议题申报：
1：设计文档评审（主讲人：王正元）
【迁移工具】迁移工具可调试性增强、可靠性增强（增量迁移）
【迁移工具】迁移工具可调试性增强、可靠性增强（反向迁移）
2.⽀持在switchover超时时，打印数据库内核的堆栈设计方案评审（移动  Jenny）

评审意见：
议题1：设计文档评审（主讲人：王正元）
【迁移工具】迁移工具可调试性增强、可靠性增强（增量迁移）
【迁移工具】迁移工具可调试性增强、可靠性增强（反向迁移）

1、迁移失败的数据直接展示sql语句
2、进度上报功能作为公共接口，在具体模块实现，设计类之间的实现与交互关系
3、文件输出路径应该在工具的工作目录下，保证权限最小化
4、历史进度文件按文件数和时间定点清理
5、工具应支持自主上报总体数据时延
6、进度数据各字段命名要尽量见名知义
7、进度文件应支持覆盖写入和追加写入两种形式
8、source端配置黑名单是有跳过的数据，进度文件应该包含该字段
9、配置文件添加功能开关参数
10、允许新功能对迁移性能的影响在合理范围内
11、调研进度是否可根据数据存储量大小上报
12、后续反向断点续传注意数据一致性

议题2：⽀持在switchover超时时，打印数据库内核的堆栈设计方案评审（移动  Jenny）
该议题主要涉及存储层修改，建议该议题在存储sig进行评审

2023-3-7
议题申报：
1. datakit用户提单模板(国创曾色亮)
2. om屏蔽python版本差异(蒋宏博)
3. datastudio支持新数据类型 (甘洋)
4. 添加快照（snapshot）备份功能(王硕 李颖)
功能的基本描述：
（1）.创建快照（copy-on-write）：在快照时间点之后复制快照，不采用物理数据复制方式，仅复制原始数据物理位置的元数据。可以瞬间完成快照创建。
（2）.恢复快照：快照副本可跟踪原始卷的数据变化，一旦原始卷数据块发生写操作，可先将原始卷数据块读出并写入快照卷，能够用新数据块覆盖原始卷，从而实现快照恢复的功能。
5.备份保留天数逻辑修改（岳川 海涛）
gs_probackup工具 retention_window参数实现逻辑修改（方案已经给出，抛出问题落实排期）

2023-2-21
议题申报：
1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）

会议结论：
- 议题1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）

评审建议：
（1）验证增量迁移执行create user语句时，binlog是否含有grant权限相关的语句
（2）海量需求支持字段大小写敏感合入后，验证大小写功能是否一致
（3）autoincrement内核已适配
（4）验证时间类型是否可为0000-00-00，或者全0表示
（5）关于迁移报错处理流程：
create/alter table相关报错，会影响后续dml操作，因此报错后走正常退出流程；
存储过程、视图等迁移报错不影响dml操作，因此写入错误日志中，不终止迁移过程。
（6）针对数据库版本和工具版本的配套使用问题：
所有工具（包括迁移和校验），在启动时校验数据库版本和工具版本的匹配问题，若不满足数据库版本>=工具版本，则工具退出，不执行后续的迁移校验流程。
（7）sql_mode等相关参数要求用户迁移前设置与mysql保持一致
B库下建议打开的参数：
dolphin.b_compatibility_mode = on;
enable_set_variable_b_format=on;
其中b_compatibility_mode 控制了很多函数、操作符的表现和mysql兼容，建议打开，enable_set_variable_b_format 用于支持 set @var=1; 自定义变量，在存储过程、函数、trigger等场景可能被大量使用，建议打开

dolphin.sql_mode 和 mysql 的sql_mode 的映射关系如下：
sql_mode_strict ->  STRICT_TRANS_TABLES
sql_mode_full_group ->  ONLY_FULL_GROUP_BY
pipes_as_concat ->pipes_as_concat
ansi_quotes ->ansi_quotes
no_zero_date -> no_zero_date
没列出来的sql mode都是不支持的

dolphin插件需增加的功能：
（1）mysql中参数lower_case_table_names用于控制库表名的大小写，dolphin.lower_case_table_names增加库名（即schema名称）的大小写敏感
（2）dolphin插件支持ALGORITHM语法兼容

2023-2-13
议题申报：
1.升级数据字典检验工具（一）设计评审。
2.JDBC的cleanupTimer锁机制优化
3.工具代码仓梳理和命名讨论；
4.工具代码仓check-in模板讨论

2023-2-7
议题申报：
1.dblink支持通过odbc链接异构数据库设计方案评审（陈志凯）
2.portal对接datakit详细方案评审（刘桐）
3.支持XML类型 设计方案评审（刘恒）
4.ODBC windows版本发布设计方案评审（刘恒）
5.JDBC高可用优化需求设计方案评审（陈紫阳）
6.JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪）
7. CM支持容器化部署设计方案评审（张旭博）
8.Debezium全量迁移支持对mysql对象的迁移（彭思）

会议结论：

- 议题1：dblink支持通过odbc链接异构数据库设计方案评审（陈志凯）
评审结论：不通过
评审意见：
1. 更换为社区模板重新撰写
2. 完善细节，增加dblink系列函数用法等
3. 增加新接口，查询所有可用的odbc源
4. 修改消息序列图
5. 考虑数据类型等问题

- 议题2：portal对接datakit详细方案评审（刘桐）
评审结论：通过
评审意见：
1. 关于迁移进度展示：迁移工具持续生成文件去存包括时间在内的迁移进度，portal每隔一段时间（可配置）去查询文件，全量迁移未结束时，连续三次时间戳不更新就挂，如果用户有查询需求，就从portal中查询缓存。
2. 为了兼容以后可能做的反向全量迁移，清理全量校验产生的临时表需要在反向迁移之前进行。
3. 日志是否打到屏上需要加一个参数。
4. 启动计划用一个进程，停止计划用一个进程，使用发送信号量的方式进行进程间通信，通过workspaceID去标识要操作的任务，portal挂掉也使用这种方法去重启。
5. 用户单独使用portal和使用datakit启动portal的逻辑是一致的，不存在特殊场景。
6. 停止在线迁移时，首先在线迁移进程检测source和sink端是否数据已全部处理完，全部处理完后，停止在线迁移。增量迁移结束后，输出lsn，反向迁移开始时，校验lsn。

- 议题3：支持XML类型设计方案评审（刘恒）
评审结论：通过
评审意见：
1. 补充了一些测试场景，验证升级和回退是否支持xml；
2. 连接jdbc, odbc，Data Studio是否支持xml；

- 议题4：ODBC windows版本发布设计方案评审（刘恒）
评审结论：通过
评审意见：
1. 补充了一些测试场景：验证多ip连接，当主机宕机后，备机是否可以正常使用；
2. 验证omp连接；

- 议题5：JDBC高可用优化需求设计方案评审（陈紫阳）
评审结论： 通过
评审意见：
1. 原有功能，缓存复用问题
2. 定时任务间隔时间能否可配置

- 议题6：JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪)
评议结论：通过
评审意见：
1.  开发完成后需要测试探活的代价。
2.  开发完成后进行与参数targetservertype的组合测试。
3.  有两个点需要与邮储对需求：
     a. 是否添加参数，控制快速负载均衡时关闭连接的数量
     b. 是否修改快速负载均衡的触发时机，改为定时触发

- 议题7： CM支持容器化部署设计方案评审（张旭博）
评审结论：通过
评审意见：
1. 添加约束-容器需要带上操作系统的shell这一层
2. 优先使用容器自身的参数-D来保证容器自身不退出

- 议题8：Debezium全量迁移支持对mysql对象的迁移（彭思）
评审结论：通过
评审意见：
1. 启动全量迁移时，增加配置文件的参数，即决定迁数据或对象
2. sink端：对象串行执行时，考虑依赖的问题，同时对象迁移考虑并发的情况，并行度通过模型计算或者给定min, max，提供自适应能力，抽取为公共能力
3. 迁移报错时，提供报错的列表，根据错误信息判断错误原因：（1）对象不存在，需重试，并设置最大重试次数；（2）语法不兼容，跳过，并记录错误信息。
4. 当部分表没有迁移时，要进行清理等，增加配置参数
5. 集成sql-translator项目时，考虑转与透传的三种情况，增加一个配置项，包含三种情形：（1）透传（2）转换（3）先透传再转换
6. 对象的校验，用户迁移自定义转换
7. 增加sever、event，自定义函数、表空间tablespace这些对象的迁移
8. 梳理变色龙全量迁移的控制参数，是否可在debezium中增加相关设置
9. 迁移对象时不用锁实例，一方面迁移时DDL操作在实际业务中往往受限，同时在对象校验时可作为补救，暂不需锁整个实例导致业务受阻
10 迁移对象的顺序：（1）迁移表（可串行）-> (2) 迁移对象（需考虑并行）-> (3) 迁移数据（按表并行） ->(4) 迁移索引和外键

2022年11月22日
议题申报：
3.openGauss监控插件工具方案评审及业务功能演示

2022-11-07

议题申报：

1. gstrace追踪工具增强（谢芳云和恩墨）

2022-09-14 工具sig会议记录
会议主题：《可视化开发与运维平台》930版本需求评审会议
会议讨论结论如下：
    1、胡总提出2不要2必要：
        1）2不要：不要做安装部署功能；不要做初始化有的功能，如prometheus上的功能；
        2）2必要：支持监控场景找到问题根源；支持存储过程中、大量语句的调试和性能监控；
    2、930版本的需求，胡总建议华为参与联合设计需求，让需求更加明确和统一，优先设计并开发“杀手级”的功能；
    3、930版本增加一些开发需求：
        1）TOPSQL详情页面，增加诊断按钮，可启动诊断任务，使用跟踪机制获取数据，使用ebpf抓取相关数据；增加openGauss的STATMENT_HISTORY统计信息；
        2）诊断成功后，数据通过新的界面显示；
        3）TOPSQL详情页面，增加SQL执行当前负载的页签，显示该SQL执行时的负载情况；
        4）实例详细的图表可根据性能视图需要下钻分析的时间范围，查看对应时间段的TOPSQL信息；
    4、原来的需求中，对诊断作用没有那么大的需求可以先不做；
    5、本次会议未评审设计方案，等诊断方案出来后，再和张耀中老师联系组织一起评审。
风险问题：
    1、确定诊断整体方案需要时间，在930版本中存在延期风险。

    《数据库监控插件生成工具》930版本需求评审会议
1、仓库地址改个名字，以便跟内核的插件有区别。
2、为了方便集成到其他如集成平台中，需要将引入控制台改造成Java实现。
3、后续需要将UCD设计加入到设计文档中。
4、930demo版本进行上线，待后续功能完善时再正式发布。

20220823 tools sig 议题
（1）问题单裁决：mysql在线对具有任意形式唯一约束的分区复合表创建索引，opengauss侧迁移失败--主讲人：窦欣
https://gitee.com/opengauss/openGauss-tools-chameleon/issues/I5DAN0?from=pro...
（2）众智项目： openGauss-DataStudio 装备存储过程覆盖率工具开发合作项目--主讲人：郑齐俱
1）关于内核插件DBE_PLDEBUGGER的特性说明 评测
2）DS功能演示
（3）openGauss监控插件生成工具项目–主讲人：许小钦

Thanks & Best regards！
________________________________
窦欣 (Dou Xin)
E-mail: douxin5@huawei.com<mailto:douxin5@huawei.com>
Department: openGauss Program

douxin (A)

tags

participants (1)