【备份etherpad内容】openGauss tools sig （from 20220823 to 20230818） - Tools

18 Aug 2023


      大家好，由于etherpad内容经常出现乱码，因此对etherpad内容进行备份。
etherpad链接：https://etherpad.opengauss.org/p/Tools-meetings
2023年8月1日
议题申报：
1、OM工具解除操作系统的依赖校验（张傲）
2、datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（蒋宏博）
评审意见：
议题1：OM工具解除操作系统的依赖校验（张傲）
1、调研国内其他闭源、开源数据库对OS定位限制；
2、增加不在支持OS列表中的OS测试；
议题2：datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（蒋宏博）
1、用户进程在远程主机和本机的场景可以使用同一套框架。
2、提供拉起用户程序方式。
3、提取到的sql，要拿到对应的函数调用栈，并以文件形式输出。
4、支持周期性的sql收集。
5、动态插桩为侵入式的方式，需跟客户同步该方案。
2023-07-25
议题申报：
1、开箱即用工具gs_perfconfig设计评审（胡正超）
2、增量迁移、逆向迁移工具能力增强设计方案评审（王正元）
3、chameleon解除跨平台依赖特性设计方案评审（刘桐）
4、openGauss支持ceph部署资源池化设计方案评审（张旭博）
5、benchmark工厂插件任务管理设计方案评审（李睿祥）
评审意见：
议题1：开箱即用工具gs_perfconfig设计评审（胡正超）
1、对于xlog分盘的调整，可以列出来磁盘，供用户选择。
2、考虑资源池化场景。
3、bios的设置，存在一些工具可以读取，在操作系统层面也能间接看到，但不一定全，可以考虑使用这些进行简单探测。
4、新增参数 --apply， 工具默认不进行调整，只给出建议，只有--apply之后才具体的调整。
5、类的设计要具备可扩展的能力。
议题2：增量迁移、逆向迁移工具能力增强设计方案评审（王正元）
1、增量迁移涉及主外表关联关系的ddl操作将两张表对应的线程合并后再执行
2、portal评估系统资源并按照系统资源配置启动参数的功能规划并跟进
3、创建脚本，根据portal配置的启动参数去修改confluent启动脚本的参数
4、增量迁移按表并行还是按事务并行由source端参数控制，该参数通过kafka传到sink端
5、openGauss端jdbc设置session_timeout=0再加入超时重连机制，MySQL端加入超时重连机制
6、跟进增量迁移按表并行时的断点续传功能适配
7、调研kafka数据文件占用磁盘过多时的解决方案
议题3：chameleon解除跨平台依赖特性设计方案评审（刘桐）
1、tar.gz包安装失败后使用whl包重试。
2、安装时需要检测系统小版本（防止用户输错版本）。
3、安装chameleon的虚拟环境时安装包尝试进行裁剪。
议题4：openGauss支持ceph部署资源池化设计方案评审（张旭博）
1、 对比测试下rbd和通过iscsi的读写性能差距，使用dd或fio工具
2、考虑适配多路径配置，提高可靠性
3、 对于om工具添加对应的卸载能力
4、重点测试下倒换能力，故障后能否能够去掉注册，继续访问磁盘。 测试断开网络连接集群表现
议题5：benchmark工厂插件任务管理设计方案评审（李睿祥）
1、创建一个单独的database保存benchmark工厂的插件
2、确定插件中使用websocket依赖的可行性
2023-07-18
议题申报：
1、【迁移工具】Datakit Oracle 迁移插件设计方案（南大通用-王睿博）
2、【 迁移工具】支持免部署单机版迁移工具（软通-田可辉）
3、 Datakit Web Data Studio支持调试匿名块（李秦朗）
评审意见：
议题1：【迁移工具】Datakit Oracle 迁移插件设计方案（南大通用-王睿博）
初步评审通过，可进行开发，后续开发完成后需细化并再次评审文档，并关注性能指标。
议题2：【迁移工具】支持免部署单机版迁移工具（软通-田可辉）
与现有迁移工具存在较多重复，为开发者讲解datakit还需补齐的能力，希望开发者可以通过承接datakit需求参与到社区开发。
议题3：Datakit Web Data Studio支持调试匿名块（李秦朗）
由于会议信号较差，议题3自行组织评审
2023-06-06
议题申报：
1、【迁移工具】反向迁移支持全量迁移（陈紫阳）
2、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
3、【迁移工具】支持源端是openGauss和csv文件的校验（王正元）
评审意见：
议题1：【迁移工具】反向迁移支持全量迁移（陈紫阳）
评审意见：
1.文件夹总大小控制避免过大
2.对接portal以及datakit，进度上报
3.数据类型转换
4.sink端线程分发逻辑
5.断点续传
6.反向增量迁移对接快照点
议题2：【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
评审意见：
1.长时间未中断，断点消息内需要从大小和时间两个维度执行清除策略
2.增量迁移内，已实现事务级回放，不需要对事务内SQL语句在线程执行时记录到断点信息呢，只需记录整个事务的执行结果
议题3：【迁移工具】支持源端是openGauss和csv文件的校验（王正元）
评审意见：
1、对待校验的csv文件格式与来源要做规定--仅限变色龙全量迁移导出的csv文件
2、源端是openGauss与csv文件时要支持由portal管理，与datakit对接
3、对忽略的无主键表要有日志提示，在进度文件上要有体现
2023-05-30
议题申报：
1、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）
2、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）
3、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
4、【迁移工具】反向迁移支持全量迁移（陈紫阳）
评审意见：
议题1：【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）
评审意见：
（1）结合参数keep_existing_schema，支持不连接源端mysql数据库，可支持数据导入
（2）需结合机器核数和并行度，默认设置合理的索引并行度，当前默认值16在4c16g配置上可能不够合理
议题2：【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）
评审结论：
当前全量迁移chameleon构造表的DDL采用系统表查询并拼接的方式构造DDL，当前版本维持不变。后续演进中，伴随兼容性较完善，全量迁移可采用show create table name查询表的定义。
议题3：【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
评审意见：
（1）异步提交offset是否在sink端获取数据，多线程执行回放后？
（2）在每个线程执行回放后记录断点信息，是否会存在回放了，但是没有记录到断点信息？
（3）方案内部记录所有的回放结果，是否太重了，有没有更好的方案。
议题4：由于时间关系，议题4在下周会议进行评审。
大家好，
   openGauss社区2023年度开发者大会将于2023年5月26日在北京·昆泰嘉瑞文化中心举办，届时Tools也会线下组织SIG版本规划工作会议，
   集中讨论用户需求、未来技术发展、工作任务分工等，在此诚邀您的参与。
时间：2023年5月26日 16:00-17:30
地址：北京·昆泰嘉瑞文化中心
现场参会需提前报名： https://e-campaign.huawei.com/m/6vaqiy
与会人员:
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Please add your name and gitee_id below.
熊小军 xiong_xjun
贺承汉 he-chenghan
彭炯 totaj
周斌 justbk
窦欣 ywzq1161327784
李春 woqutech_0
李凯
【议题申报+发起人】：
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Please include the topic, a brief description, link of your name and gitee ID with your topic
(At this point, the ordering is arbitrary, the SIG maintainers will arrange orders when we have a finalized list, roughly 3 days before the meeting)
请填写您想要提交的议题内容，包括议题发起人，简单的议题说明，Issue 反馈的在线地址，已有的技术方案或PR，已有的讨论纪要等。
1、Datakit增加opengauss第三方双向同步能力(沃趣-李春)
2、jdbc增加java6和java7的特性分支(华为-周斌) https://gitee.com/opengauss/openGauss-connector-jdbc/issues/I60Z98?from=proj...
3、datakit支持兼容性评估(蒋宏博)
4、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）
5、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）
6、 dolphin轻量版版本基于cmake的编译测试checkin  （王修强-云和恩墨）
7、show open tables+storage engines+slave status需求 checkin评审（移动）
8、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
9、【迁移工具】反向迁移支持全量迁移（陈紫阳）
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
20230526会议纪要：
议题申报：
1、Datakit增加opengauss第三方双向同步能力(沃趣-李春)
2、jdbc增加java6和java7的特性分支(华为-周斌) https://gitee.com/opengauss/openGauss-connector-jdbc/issues/I60Z98?from=proj...
3、datakit支持兼容性评估(蒋宏博)
4、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）
5、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）
6、 dolphin轻量版版本基于cmake的编译测试checkin  （王修强-云和恩墨）
7、show open tables+storage engines+slave status需求 checkin评审（移动）
8、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
9、【迁移工具】反向迁移支持全量迁移（陈紫阳）
评审意见：
1、Datakit增加opengauss第三方双向同步能力(沃趣-李春)
遗留问题：无
2、jdbc增加java6和java7的特性分支(华为-周斌)
评审结论：同意jdbc增加java6和java7的特性分支
3、datakit支持兼容性评估(蒋宏博)
评审意见：sql文件作为输入时，每条sql以分号作为分隔符可能存在sql解析不正确的情况
其余议题4、5、8、9因为时间关系将在20230530的tools sig会议上评审。
议题6、7将在plugin sig进行评审。
2023-5-11
议题申报：
1.数据全量校验性能提升150M（王超）
2.迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
会议结论：
1.数据全量校验性能提升150M（王超）
评审结论：通过
评审意见：
1、增加不同表平均长度验证fetchSize大小对性能影响
2、验证ANALYZE 对tables.table_rows的影响
3、测试场景使用sysbench测试模型,与迁移保持一致。
2.迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）
评审结论：不通过
评审意见：
按照dbox文档评审意见答复检视意见，并结合意见修改和完善设计文档
2023-4-11
议题申报：
1：设计文档评审（主讲人：王正元）
【迁移工具】迁移工具可调试性增强、可靠性增强（增量迁移）
【迁移工具】迁移工具可调试性增强、可靠性增强（反向迁移）
2.⽀持在switchover超时时，打印数据库内核的堆栈设计方案评审（移动  Jenny）
评审意见：
议题1：设计文档评审（主讲人：王正元）
【迁移工具】迁移工具可调试性增强、可靠性增强（增量迁移）
【迁移工具】迁移工具可调试性增强、可靠性增强（反向迁移）
1、迁移失败的数据直接展示sql语句
2、进度上报功能作为公共接口，在具体模块实现，设计类之间的实现与交互关系
3、文件输出路径应该在工具的工作目录下，保证权限最小化
4、历史进度文件按文件数和时间定点清理
5、工具应支持自主上报总体数据时延
6、进度数据各字段命名要尽量见名知义
7、进度文件应支持覆盖写入和追加写入两种形式
8、source端配置黑名单是有跳过的数据，进度文件应该包含该字段
9、配置文件添加功能开关参数
10、允许新功能对迁移性能的影响在合理范围内
11、调研进度是否可根据数据存储量大小上报
12、后续反向断点续传注意数据一致性
议题2：⽀持在switchover超时时，打印数据库内核的堆栈设计方案评审（移动  Jenny）
该议题主要涉及存储层修改，建议该议题在存储sig进行评审
2023-3-7
议题申报：
1. datakit用户提单模板(国创曾色亮)
2. om屏蔽python版本差异(蒋宏博)
3. datastudio支持新数据类型 (甘洋)
4. 添加快照（snapshot）备份功能(王硕 李颖)
功能的基本描述：
（1）.创建快照（copy-on-write）：在快照时间点之后复制快照，不采用物理数据复制方式，仅复制原始数据物理位置的元数据。可以瞬间完成快照创建。
（2）.恢复快照：快照副本可跟踪原始卷的数据变化，一旦原始卷数据块发生写操作，可先将原始卷数据块读出并写入快照卷，能够用新数据块覆盖原始卷，从而实现快照恢复的功能。
5.备份保留天数逻辑修改（岳川 海涛）
gs_probackup工具 retention_window参数实现逻辑修改（方案已经给出，抛出问题落实排期）
2023-2-21
议题申报：
1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）
会议结论：
- 议题1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）
评审建议：
（1）验证增量迁移执行create user语句时，binlog是否含有grant权限相关的语句
（2）海量需求支持字段大小写敏感合入后，验证大小写功能是否一致
（3）autoincrement内核已适配
（4）验证时间类型是否可为0000-00-00，或者全0表示
（5）关于迁移报错处理流程：
create/alter table相关报错，会影响后续dml操作，因此报错后走正常退出流程；
存储过程、视图等迁移报错不影响dml操作，因此写入错误日志中，不终止迁移过程。
（6）针对数据库版本和工具版本的配套使用问题：
所有工具（包括迁移和校验），在启动时校验数据库版本和工具版本的匹配问题，若不满足数据库版本>=工具版本，则工具退出，不执行后续的迁移校验流程。
（7）sql_mode等相关参数要求用户迁移前设置与mysql保持一致
B库下建议打开的参数：
dolphin.b_compatibility_mode = on;
enable_set_variable_b_format=on;
其中b_compatibility_mode 控制了很多函数、操作符的表现和mysql兼容，建议打开，enable_set_variable_b_format 用于支持 set @var=1; 自定义变量，在存储过程、函数、trigger等场景可能被大量使用，建议打开
dolphin.sql_mode 和 mysql 的sql_mode 的映射关系如下：
sql_mode_strict ->  STRICT_TRANS_TABLES
sql_mode_full_group ->  ONLY_FULL_GROUP_BY
pipes_as_concat ->pipes_as_concat
ansi_quotes ->ansi_quotes
no_zero_date -> no_zero_date
没列出来的sql mode都是不支持的
dolphin插件需增加的功能：
（1）mysql中参数lower_case_table_names用于控制库表名的大小写，dolphin.lower_case_table_names增加库名（即schema名称）的大小写敏感
（2）dolphin插件支持ALGORITHM语法兼容
2023-2-13
议题申报：
1.升级数据字典检验工具（一）设计评审。
2.JDBC的cleanupTimer锁机制优化
3.工具代码仓梳理和命名讨论；
4.工具代码仓check-in模板讨论
2023-2-7
议题申报：
1.dblink支持通过odbc链接异构数据库设计方案评审（陈志凯）
2.portal对接datakit详细方案评审（刘桐）
3.支持XML类型 设计方案评审（刘恒）
4.ODBC windows版本发布设计方案评审（刘恒）
5.JDBC高可用优化需求设计方案评审（陈紫阳）
6.JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪）
7. CM支持容器化部署设计方案评审（张旭博）
8.Debezium全量迁移支持对mysql对象的迁移（彭思）
会议结论：
- 议题1：dblink支持通过odbc链接异构数据库设计方案评审（陈志凯）
评审结论：不通过
评审意见：
1. 更换为社区模板重新撰写
2. 完善细节，增加dblink系列函数用法等
3. 增加新接口，查询所有可用的odbc源
4. 修改消息序列图
5. 考虑数据类型等问题
- 议题2：portal对接datakit详细方案评审（刘桐）
评审结论：通过
评审意见：
1. 关于迁移进度展示：迁移工具持续生成文件去存包括时间在内的迁移进度，portal每隔一段时间（可配置）去查询文件，全量迁移未结束时，连续三次时间戳不更新就挂，如果用户有查询需求，就从portal中查询缓存。
2. 为了兼容以后可能做的反向全量迁移，清理全量校验产生的临时表需要在反向迁移之前进行。
3. 日志是否打到屏上需要加一个参数。
4. 启动计划用一个进程，停止计划用一个进程，使用发送信号量的方式进行进程间通信，通过workspaceID去标识要操作的任务，portal挂掉也使用这种方法去重启。
5. 用户单独使用portal和使用datakit启动portal的逻辑是一致的，不存在特殊场景。
6. 停止在线迁移时，首先在线迁移进程检测source和sink端是否数据已全部处理完，全部处理完后，停止在线迁移。增量迁移结束后，输出lsn，反向迁移开始时，校验lsn。
- 议题3：支持XML类型设计方案评审（刘恒）
评审结论：通过
评审意见：
1. 补充了一些测试场景，验证升级和回退是否支持xml；
2. 连接jdbc, odbc，Data Studio是否支持xml；
- 议题4：ODBC windows版本发布设计方案评审（刘恒）
评审结论：通过
评审意见：
1. 补充了一些测试场景：验证多ip连接，当主机宕机后，备机是否可以正常使用；
2. 验证omp连接；
- 议题5：JDBC高可用优化需求设计方案评审（陈紫阳）
评审结论： 通过
评审意见：
1. 原有功能，缓存复用问题
2. 定时任务间隔时间能否可配置
- 议题6：JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪)
评议结论：通过
评审意见：
1.  开发完成后需要测试探活的代价。
2.  开发完成后进行与参数targetservertype的组合测试。
3.  有两个点需要与邮储对需求：
     a. 是否添加参数，控制快速负载均衡时关闭连接的数量
     b. 是否修改快速负载均衡的触发时机，改为定时触发
- 议题7： CM支持容器化部署设计方案评审（张旭博）
评审结论：通过
评审意见：
1. 添加约束-容器需要带上操作系统的shell这一层
2. 优先使用容器自身的参数-D来保证容器自身不退出
- 议题8：Debezium全量迁移支持对mysql对象的迁移（彭思）
评审结论：通过
评审意见：
1. 启动全量迁移时，增加配置文件的参数，即决定迁数据或对象
2. sink端：对象串行执行时，考虑依赖的问题，同时对象迁移考虑并发的情况，并行度通过模型计算或者给定min, max，提供自适应能力，抽取为公共能力
3. 迁移报错时，提供报错的列表，根据错误信息判断错误原因：（1）对象不存在，需重试，并设置最大重试次数；（2）语法不兼容，跳过，并记录错误信息。
4. 当部分表没有迁移时，要进行清理等，增加配置参数
5. 集成sql-translator项目时，考虑转与透传的三种情况，增加一个配置项，包含三种情形：（1）透传（2）转换（3）先透传再转换
6. 对象的校验，用户迁移自定义转换
7. 增加sever、event，自定义函数、表空间tablespace这些对象的迁移
8. 梳理变色龙全量迁移的控制参数，是否可在debezium中增加相关设置
9. 迁移对象时不用锁实例，一方面迁移时DDL操作在实际业务中往往受限，同时在对象校验时可作为补救，暂不需锁整个实例导致业务受阻
10 迁移对象的顺序：（1）迁移表（可串行）-> (2) 迁移对象（需考虑并行）-> (3) 迁移数据（按表并行） ->(4) 迁移索引和外键
2022年11月22日
议题申报：
3.openGauss监控插件工具方案评审及业务功能演示
2022-11-07
议题申报：
1. gstrace追踪工具增强（谢芳云和恩墨）
2022-09-14 工具sig会议记录
会议主题：《可视化开发与运维平台》930版本需求评审会议
会议讨论结论如下：
    1、胡总提出2不要2必要：
        1）2不要：不要做安装部署功能；不要做初始化有的功能，如prometheus上的功能；
        2）2必要：支持监控场景找到问题根源；支持存储过程中、大量语句的调试和性能监控；
    2、930版本的需求，胡总建议华为参与联合设计需求，让需求更加明确和统一，优先设计并开发“杀手级”的功能；
    3、930版本增加一些开发需求：
        1）TOPSQL详情页面，增加诊断按钮，可启动诊断任务，使用跟踪机制获取数据，使用ebpf抓取相关数据；增加openGauss的STATMENT_HISTORY统计信息；
        2）诊断成功后，数据通过新的界面显示；
        3）TOPSQL详情页面，增加SQL执行当前负载的页签，显示该SQL执行时的负载情况；
        4）实例详细的图表可根据性能视图需要下钻分析的时间范围，查看对应时间段的TOPSQL信息；
    4、原来的需求中，对诊断作用没有那么大的需求可以先不做；
    5、本次会议未评审设计方案，等诊断方案出来后，再和张耀中老师联系组织一起评审。
风险问题：
    1、确定诊断整体方案需要时间，在930版本中存在延期风险。
《数据库监控插件生成工具》930版本需求评审会议
1、仓库地址改个名字，以便跟内核的插件有区别。
2、为了方便集成到其他如集成平台中，需要将引入控制台改造成Java实现。
3、后续需要将UCD设计加入到设计文档中。
4、930demo版本进行上线，待后续功能完善时再正式发布。
20220823 tools sig 议题
（1）问题单裁决：mysql在线对具有任意形式唯一约束的分区复合表创建索引，opengauss侧迁移失败--主讲人：窦欣
https://gitee.com/opengauss/openGauss-tools-chameleon/issues/I5DAN0?from=pro...
（2）众智项目： openGauss-DataStudio 装备存储过程覆盖率工具开发合作项目--主讲人：郑齐俱
1）关于内核插件DBE_PLDEBUGGER的特性说明 评测
2）DS功能演示
（3）openGauss监控插件生成工具项目–主讲人：许小钦
Thanks & Best regards！
________________________________
窦欣 (Dou Xin)
E-mail: douxin5@huawei.commailto:douxin5@huawei.com
Department: openGauss Program