- Tools - mailweb.opengauss.org

[Update] 【20231024】openGauss tools sig
by openGauss conference 24 Oct '23

24 Oct '23

您好！ openGauss Tools SIG 邀请您参加 2023-10-24 10:00 召开的zoom会议(自动录制) 会议主题：[Update] 【20231024】openGauss tools sig 会议内容： 2023年10月24日议题申报： 1、【工具链】portal配置优化设计方案评审（主讲人：王巍巍） 2、【datakit】Mysql迁移过程增加预操作和切换前检查设计方案评审（主讲人：吴北斗）外部参会请用如下链接参会：https://meeting.huaweicloud.com/welink/#/j/95299542/6AsDAnKetE… 谢谢会议链接：https://us06web.zoom.us/j/83759954505?pwd=G8MRC7rWNl458hhZGpheau7MzDTv7b.1 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the zoom conference(auto recording) will be held at 2023-10-24 10:00, The subject of the conference is [Update] 【20231024】openGauss tools sig, Summary: 2023年10月24日议题申报： 1、【工具链】portal配置优化设计方案评审（主讲人：王巍巍） 2、【datakit】Mysql迁移过程增加预操作和切换前检查设计方案评审（主讲人：吴北斗）外部参会请用如下链接参会：https://meeting.huaweicloud.com/welink/#/j/95299542/6AsDAnKetE… 谢谢 You can join the meeting at https://us06web.zoom.us/j/83759954505?pwd=G8MRC7rWNl458hhZGpheau7MzDTv7b.1. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

2 1

【20231024】openGauss tools sig
by openGauss conference 23 Oct '23

23 Oct '23

您好！ openGauss Tools SIG 邀请您参加 2023-10-24 10:00 召开的zoom会议(自动录制) 会议主题：【20231024】openGauss tools sig 会议链接：https://us06web.zoom.us/j/83759954505?pwd=G8MRC7rWNl458hhZGpheau7MzDTv7b.1 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the zoom conference(auto recording) will be held at 2023-10-24 10:00, The subject of the conference is 【20231024】openGauss tools sig, You can join the meeting at https://us06web.zoom.us/j/83759954505?pwd=G8MRC7rWNl458hhZGpheau7MzDTv7b.1. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

【会议纪要】【20230912】 openGauss tools sig
by douxin (A) 12 Sep '23

12 Sep '23

Tools sig议题申报和会议结论详见：https://etherpad.opengauss.org/p/Tools-meetings 2023年9月12日议题申报： 1、psycopg2驱动发布流程变更提案（主讲人：恩墨——姚前）评审意见：议题1：psycopg2驱动发布流程变更提案（主讲人：恩墨——姚前）同意psycopg2驱动发布流程变更方案，并请刘恒同步实施新的驱动包发布方案，930发包以新方案实施，并协助官网前端负责同事更新下载列表。 openGauss官网psycopy2驱动下载列表item需展开，支持单独下载不同python版本的安装包。 Thanks & Best regards！窦欣 (Dou Xin) E-mail: douxin5(a)huawei.com Department: openGauss Program -----原始约会----- 发件人: openGauss conference [mailto:public@opengauss.org] 发送时间: 2023年9月11日 17:07 收件人: tools(a)opengauss.org 主题: [Tools] [Update] openGauss tools sig 时间: 2023年9月12日星期二 10:00-11:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 您好！ openGauss Tools SIG 邀请您参加 2023-09-12 10:00 召开的zoom会议会议主题：[Update] openGauss tools sig 会议内容：会议议题： 1、psycopg2驱动发布流程变更提案温馨提示：外部入会，请用如下链接参会 https://imeeting.huawei.com/meeting/joinwelink?id=95123967&pwd=NzQxNzQ0&tok… 会议链接：https://us06web.zoom.us/j/82886107583?pwd=bHo5QU9ud1I3VEN2YXg5M3hSQlpXdz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the zoom conference will be held at 2023-09-12 10:00, The subject of the conference is [Update] openGauss tools sig, Summary: 会议议题： 1、psycopg2驱动发布流程变更提案温馨提示：外部入会，请用如下链接参会 https://imeeting.huawei.com/meeting/joinwelink?id=95123967&pwd=NzQxNzQ0&tok… You can join the meeting at https://us06web.zoom.us/j/82886107583?pwd=bHo5QU9ud1I3VEN2YXg5M3hSQlpXdz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

[Update] openGauss tools sig
by openGauss conference 11 Sep '23

11 Sep '23

您好！ openGauss Tools SIG 邀请您参加 2023-09-12 10:00 召开的zoom会议会议主题：[Update] openGauss tools sig 会议内容：会议议题： 1、psycopg2驱动发布流程变更提案温馨提示：外部入会，请用如下链接参会 https://imeeting.huawei.com/meeting/joinwelink?id=95123967&pwd=NzQxNzQ0&tok… 会议链接：https://us06web.zoom.us/j/82886107583?pwd=bHo5QU9ud1I3VEN2YXg5M3hSQlpXdz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the zoom conference will be held at 2023-09-12 10:00, The subject of the conference is [Update] openGauss tools sig, Summary: 会议议题： 1、psycopg2驱动发布流程变更提案温馨提示：外部入会，请用如下链接参会 https://imeeting.huawei.com/meeting/joinwelink?id=95123967&pwd=NzQxNzQ0&tok… You can join the meeting at https://us06web.zoom.us/j/82886107583?pwd=bHo5QU9ud1I3VEN2YXg5M3hSQlpXdz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

openGauss tools sig
by openGauss conference 11 Sep '23

11 Sep '23

您好！ openGauss Tools SIG 邀请您参加 2023-09-12 10:00 召开的zoom会议(自动录制) 会议主题：openGauss tools sig 会议内容：会议议题： 1、psycopg2驱动发布流程变更提案温馨提示：外部入会，请用如下链接参会https://imeeting.huawei.com/meeting/joinwelink?id=95123967&pwd… 会议链接：https://us06web.zoom.us/j/82886107583?pwd=bHo5QU9ud1I3VEN2YXg5M3hSQlpXdz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the zoom conference(auto recording) will be held at 2023-09-12 10:00, The subject of the conference is openGauss tools sig, Summary: 会议议题： 1、psycopg2驱动发布流程变更提案温馨提示：外部入会，请用如下链接参会https://imeeting.huawei.com/meeting/joinwelink?id=95123967&pwd… You can join the meeting at https://us06web.zoom.us/j/82886107583?pwd=bHo5QU9ud1I3VEN2YXg5M3hSQlpXdz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

2023-9-11 TC会议
by openGauss conference 05 Sep '23

05 Sep '23

您好！ openGauss TC SIG 邀请您参加 2023-09-11 09:30 召开的zoom会议(自动录制) 会议主题：2023-9-11 TC会议会议内容：会议议题： 1. 新增技术委员会成员评审；（南大通用吴明远、中国联通柴鹏、华为王磊） 2. 金融行业SIG成立评审； - （兴业银行李斌、熊小军）如果有新增议题，请发邮件至tc(a)opengauss.org 会议链接：https://us06web.zoom.us/j/87529603646?pwd=SEprRjRiSExUd0IwRGZ3NlFoVjFsdz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/TC-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss TC SIG invites you to attend the zoom conference(auto recording) will be held at 2023-09-11 09:30, The subject of the conference is 2023-9-11 TC会议, Summary: 会议议题： 1. 新增技术委员会成员评审；（南大通用吴明远、中国联通柴鹏、华为王磊） 2. 金融行业SIG成立评审； - （兴业银行李斌、熊小军）如果有新增议题，请发邮件至tc(a)opengauss.org You can join the meeting at https://us06web.zoom.us/j/87529603646?pwd=SEprRjRiSExUd0IwRGZ3NlFoVjFsdz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/TC-meetings More information: https://opengauss.org/en/

1 0

openGauss/openGauss-workbench问题单公示
by 紫式图 26 Aug '23

26 Aug '23

以下问题单由于联系不到提单人，且按照issue中描述的操作步骤无法复现问题（至少复现20次以上），因此向community、tools sig组和QA sig组公示7天，以允许撤销此问题。之后提单人如有异议，可以重新打开此issue。安装protal时状态未更新 https://e.gitee.com/opengaussorg/projects/492431/bugs/table?issue=I7MQE1 点击一键自检后，集群管理查询不到集群信息 https://e.gitee.com/opengaussorg/projects/492431/bugs/table?issue=I7LR7X

1 0

【会议纪要】【20230822】openGauss tools sig
by douxin (A) 22 Aug '23

22 Aug '23

Tools sig议题申报和会议结论详见：https://etherpad.opengauss.org/p/Tools-meetings 2023-08-22 tools sig 会议纪要议题申报： 1、【OM工具】数据库安装、扩容、升级流程解除对root用户的依赖需求设计评审(刘恒) 2、【校验工具】数据校验能力增强方案评审（吕林涛） 3、【迁移工具】全量迁移工具能力增强（蒋宏博） 4、 datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（刘军鹏）评审意见：议题1：【OM工具】数据库安装、扩容、升级流程解除对root用户的依赖需求设计评审(刘恒) 1、gs_preinstall和checkos对于涉及文件权限的，需要整理出来一份清单，方便用户提前操作 2、对于cm的场景也要做下适配 3、datakit这边也要做对应的适配议题2：【校验工具】数据校验能力增强方案评审（吕林涛） 1、数据校验能力增强，需要控制分区数，对比分片完整落入一个分区和多个分片交叉落入一个分区方案差异 2、增加针对抽取快、校验慢问题对应的流控处理手段，补充相关DFX功能设计议题3：【迁移工具】全量迁移工具能力增强（蒋宏博） 1、对于几何类型等二进制类型，验证一下是否可以不使用ST_AsText()转换，直接在opengauss端进行回放。 2、工具异常重启跳过已经迁移完成的表，考虑从csv文件导入数据的场景议题4：datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（刘军鹏）议题4将在后续以show case形式演示 Thanks & Best regards！ ________________________________ 窦欣 (Dou Xin) E-mail: douxin5(a)huawei.com<mailto:douxin5@huawei.com> Department: openGauss Program

1 0

【备份etherpad内容】openGauss tools sig （from 20220823 to 20230818）
by douxin (A) 18 Aug '23

18 Aug '23

大家好，由于etherpad内容经常出现乱码，因此对etherpad内容进行备份。 etherpad链接：https://etherpad.opengauss.org/p/Tools-meetings 2023年8月1日议题申报： 1、OM工具解除操作系统的依赖校验（张傲） 2、datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（蒋宏博）评审意见：议题1：OM工具解除操作系统的依赖校验（张傲） 1、调研国内其他闭源、开源数据库对OS定位限制； 2、增加不在支持OS列表中的OS测试；议题2：datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（蒋宏博） 1、用户进程在远程主机和本机的场景可以使用同一套框架。 2、提供拉起用户程序方式。 3、提取到的sql，要拿到对应的函数调用栈，并以文件形式输出。 4、支持周期性的sql收集。 5、动态插桩为侵入式的方式，需跟客户同步该方案。 2023-07-25 议题申报： 1、开箱即用工具gs_perfconfig设计评审（胡正超） 2、增量迁移、逆向迁移工具能力增强设计方案评审（王正元） 3、chameleon解除跨平台依赖特性设计方案评审（刘桐） 4、openGauss支持ceph部署资源池化设计方案评审（张旭博） 5、benchmark工厂插件任务管理设计方案评审（李睿祥）评审意见：议题1：开箱即用工具gs_perfconfig设计评审（胡正超） 1、对于xlog分盘的调整，可以列出来磁盘，供用户选择。 2、考虑资源池化场景。 3、bios的设置，存在一些工具可以读取，在操作系统层面也能间接看到，但不一定全，可以考虑使用这些进行简单探测。 4、新增参数 --apply，工具默认不进行调整，只给出建议，只有--apply之后才具体的调整。 5、类的设计要具备可扩展的能力。议题2：增量迁移、逆向迁移工具能力增强设计方案评审（王正元） 1、增量迁移涉及主外表关联关系的ddl操作将两张表对应的线程合并后再执行 2、portal评估系统资源并按照系统资源配置启动参数的功能规划并跟进 3、创建脚本，根据portal配置的启动参数去修改confluent启动脚本的参数 4、增量迁移按表并行还是按事务并行由source端参数控制，该参数通过kafka传到sink端 5、openGauss端jdbc设置session_timeout=0再加入超时重连机制，MySQL端加入超时重连机制 6、跟进增量迁移按表并行时的断点续传功能适配 7、调研kafka数据文件占用磁盘过多时的解决方案议题3：chameleon解除跨平台依赖特性设计方案评审（刘桐） 1、tar.gz包安装失败后使用whl包重试。 2、安装时需要检测系统小版本（防止用户输错版本）。 3、安装chameleon的虚拟环境时安装包尝试进行裁剪。议题4：openGauss支持ceph部署资源池化设计方案评审（张旭博） 1、对比测试下rbd和通过iscsi的读写性能差距，使用dd或fio工具 2、考虑适配多路径配置，提高可靠性 3、对于om工具添加对应的卸载能力 4、重点测试下倒换能力，故障后能否能够去掉注册，继续访问磁盘。测试断开网络连接集群表现议题5：benchmark工厂插件任务管理设计方案评审（李睿祥） 1、创建一个单独的database保存benchmark工厂的插件 2、确定插件中使用websocket依赖的可行性 2023-07-18 议题申报： 1、【迁移工具】Datakit Oracle 迁移插件设计方案（南大通用-王睿博） 2、【迁移工具】支持免部署单机版迁移工具（软通-田可辉） 3、 Datakit Web Data Studio支持调试匿名块（李秦朗）评审意见：议题1：【迁移工具】Datakit Oracle 迁移插件设计方案（南大通用-王睿博）初步评审通过，可进行开发，后续开发完成后需细化并再次评审文档，并关注性能指标。议题2：【迁移工具】支持免部署单机版迁移工具（软通-田可辉）与现有迁移工具存在较多重复，为开发者讲解datakit还需补齐的能力，希望开发者可以通过承接datakit需求参与到社区开发。议题3：Datakit Web Data Studio支持调试匿名块（李秦朗）由于会议信号较差，议题3自行组织评审 2023-06-06 议题申报： 1、【迁移工具】反向迁移支持全量迁移（陈紫阳） 2、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛） 3、【迁移工具】支持源端是openGauss和csv文件的校验（王正元）评审意见：议题1：【迁移工具】反向迁移支持全量迁移（陈紫阳）评审意见： 1.文件夹总大小控制避免过大 2.对接portal以及datakit，进度上报 3.数据类型转换 4.sink端线程分发逻辑 5.断点续传 6.反向增量迁移对接快照点议题2：【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）评审意见： 1.长时间未中断，断点消息内需要从大小和时间两个维度执行清除策略 2.增量迁移内，已实现事务级回放，不需要对事务内SQL语句在线程执行时记录到断点信息呢，只需记录整个事务的执行结果议题3：【迁移工具】支持源端是openGauss和csv文件的校验（王正元）评审意见： 1、对待校验的csv文件格式与来源要做规定--仅限变色龙全量迁移导出的csv文件 2、源端是openGauss与csv文件时要支持由portal管理，与datakit对接 3、对忽略的无主键表要有日志提示，在进度文件上要有体现 2023-05-30 议题申报： 1、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣） 2、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣） 3、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛） 4、【迁移工具】反向迁移支持全量迁移（陈紫阳）评审意见：议题1：【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）评审意见：（1）结合参数keep_existing_schema，支持不连接源端mysql数据库，可支持数据导入（2）需结合机器核数和并行度，默认设置合理的索引并行度，当前默认值16在4c16g配置上可能不够合理议题2：【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）评审结论：当前全量迁移chameleon构造表的DDL采用系统表查询并拼接的方式构造DDL，当前版本维持不变。后续演进中，伴随兼容性较完善，全量迁移可采用show create table name查询表的定义。议题3：【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）评审意见：（1）异步提交offset是否在sink端获取数据，多线程执行回放后？（2）在每个线程执行回放后记录断点信息，是否会存在回放了，但是没有记录到断点信息？（3）方案内部记录所有的回放结果，是否太重了，有没有更好的方案。议题4：由于时间关系，议题4在下周会议进行评审。大家好， openGauss社区2023年度开发者大会将于2023年5月26日在北京·昆泰嘉瑞文化中心举办，届时Tools也会线下组织SIG版本规划工作会议，集中讨论用户需求、未来技术发展、工作任务分工等，在此诚邀您的参与。时间：2023年5月26日 16:00-17:30 地址：北京·昆泰嘉瑞文化中心现场参会需提前报名： https://e-campaign.huawei.com/m/6vaqiy 与会人员: ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Please add your name and gitee_id below. 熊小军 xiong_xjun 贺承汉 he-chenghan 彭炯 totaj 周斌 justbk 窦欣 ywzq1161327784 李春 woqutech_0 李凯【议题申报+发起人】： --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Please include the topic, a brief description, link of your name and gitee ID with your topic (At this point, the ordering is arbitrary, the SIG maintainers will arrange orders when we have a finalized list, roughly 3 days before the meeting) 请填写您想要提交的议题内容，包括议题发起人，简单的议题说明，Issue 反馈的在线地址，已有的技术方案或PR，已有的讨论纪要等。 1、Datakit增加opengauss第三方双向同步能力(沃趣-李春) 2、jdbc增加java6和java7的特性分支(华为-周斌) https://gitee.com/opengauss/openGauss-connector-jdbc/issues/I60Z98?from=pro… 3、datakit支持兼容性评估(蒋宏博) 4、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣） 5、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣） 6、 dolphin轻量版版本基于cmake的编译测试checkin （王修强-云和恩墨） 7、show open tables+storage engines+slave status需求 checkin评审（移动） 8、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛） 9、【迁移工具】反向迁移支持全量迁移（陈紫阳） --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 20230526会议纪要：议题申报： 1、Datakit增加opengauss第三方双向同步能力(沃趣-李春) 2、jdbc增加java6和java7的特性分支(华为-周斌) https://gitee.com/opengauss/openGauss-connector-jdbc/issues/I60Z98?from=pro… 3、datakit支持兼容性评估(蒋宏博) 4、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣） 5、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣） 6、 dolphin轻量版版本基于cmake的编译测试checkin （王修强-云和恩墨） 7、show open tables+storage engines+slave status需求 checkin评审（移动） 8、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛） 9、【迁移工具】反向迁移支持全量迁移（陈紫阳）评审意见： 1、Datakit增加opengauss第三方双向同步能力(沃趣-李春) 遗留问题：无 2、jdbc增加java6和java7的特性分支(华为-周斌) 评审结论：同意jdbc增加java6和java7的特性分支 3、datakit支持兼容性评估(蒋宏博) 评审意见：sql文件作为输入时，每条sql以分号作为分隔符可能存在sql解析不正确的情况其余议题4、5、8、9因为时间关系将在20230530的tools sig会议上评审。议题6、7将在plugin sig进行评审。 2023-5-11 议题申报： 1.数据全量校验性能提升150M（王超） 2.迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）会议结论： 1.数据全量校验性能提升150M（王超）评审结论：通过评审意见： 1、增加不同表平均长度验证fetchSize大小对性能影响 2、验证ANALYZE 对tables.table_rows的影响 3、测试场景使用sysbench测试模型,与迁移保持一致。 2.迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）评审结论：不通过评审意见：按照dbox文档评审意见答复检视意见，并结合意见修改和完善设计文档 2023-4-11 议题申报： 1：设计文档评审（主讲人：王正元）【迁移工具】迁移工具可调试性增强、可靠性增强（增量迁移）【迁移工具】迁移工具可调试性增强、可靠性增强（反向迁移） 2.⽀持在switchover超时时，打印数据库内核的堆栈设计方案评审（移动 Jenny）评审意见：议题1：设计文档评审（主讲人：王正元）【迁移工具】迁移工具可调试性增强、可靠性增强（增量迁移）【迁移工具】迁移工具可调试性增强、可靠性增强（反向迁移） 1、迁移失败的数据直接展示sql语句 2、进度上报功能作为公共接口，在具体模块实现，设计类之间的实现与交互关系 3、文件输出路径应该在工具的工作目录下，保证权限最小化 4、历史进度文件按文件数和时间定点清理 5、工具应支持自主上报总体数据时延 6、进度数据各字段命名要尽量见名知义 7、进度文件应支持覆盖写入和追加写入两种形式 8、source端配置黑名单是有跳过的数据，进度文件应该包含该字段 9、配置文件添加功能开关参数 10、允许新功能对迁移性能的影响在合理范围内 11、调研进度是否可根据数据存储量大小上报 12、后续反向断点续传注意数据一致性议题2：⽀持在switchover超时时，打印数据库内核的堆栈设计方案评审（移动 Jenny）该议题主要涉及存储层修改，建议该议题在存储sig进行评审 2023-3-7 议题申报： 1. datakit用户提单模板(国创曾色亮) 2. om屏蔽python版本差异(蒋宏博) 3. datastudio支持新数据类型 (甘洋) 4. 添加快照（snapshot）备份功能(王硕李颖) 功能的基本描述：（1）.创建快照（copy-on-write）：在快照时间点之后复制快照，不采用物理数据复制方式，仅复制原始数据物理位置的元数据。可以瞬间完成快照创建。（2）.恢复快照：快照副本可跟踪原始卷的数据变化，一旦原始卷数据块发生写操作，可先将原始卷数据块读出并写入快照卷，能够用新数据块覆盖原始卷，从而实现快照恢复的功能。 5.备份保留天数逻辑修改（岳川海涛） gs_probackup工具 retention_window参数实现逻辑修改（方案已经给出，抛出问题落实排期） 2023-2-21 议题申报： 1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）会议结论： - 议题1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）评审建议：（1）验证增量迁移执行create user语句时，binlog是否含有grant权限相关的语句（2）海量需求支持字段大小写敏感合入后，验证大小写功能是否一致（3）autoincrement内核已适配（4）验证时间类型是否可为0000-00-00，或者全0表示（5）关于迁移报错处理流程： create/alter table相关报错，会影响后续dml操作，因此报错后走正常退出流程；存储过程、视图等迁移报错不影响dml操作，因此写入错误日志中，不终止迁移过程。（6）针对数据库版本和工具版本的配套使用问题：所有工具（包括迁移和校验），在启动时校验数据库版本和工具版本的匹配问题，若不满足数据库版本>=工具版本，则工具退出，不执行后续的迁移校验流程。（7）sql_mode等相关参数要求用户迁移前设置与mysql保持一致 B库下建议打开的参数： dolphin.b_compatibility_mode = on; enable_set_variable_b_format=on; 其中b_compatibility_mode 控制了很多函数、操作符的表现和mysql兼容，建议打开，enable_set_variable_b_format 用于支持 set @var=1; 自定义变量，在存储过程、函数、trigger等场景可能被大量使用，建议打开 dolphin.sql_mode 和 mysql 的sql_mode 的映射关系如下： sql_mode_strict -> STRICT_TRANS_TABLES sql_mode_full_group -> ONLY_FULL_GROUP_BY pipes_as_concat ->pipes_as_concat ansi_quotes ->ansi_quotes no_zero_date -> no_zero_date 没列出来的sql mode都是不支持的 dolphin插件需增加的功能：（1）mysql中参数lower_case_table_names用于控制库表名的大小写，dolphin.lower_case_table_names增加库名（即schema名称）的大小写敏感（2）dolphin插件支持ALGORITHM语法兼容 2023-2-13 议题申报： 1.升级数据字典检验工具（一）设计评审。 2.JDBC的cleanupTimer锁机制优化 3.工具代码仓梳理和命名讨论； 4.工具代码仓check-in模板讨论 2023-2-7 议题申报： 1.dblink支持通过odbc链接异构数据库设计方案评审（陈志凯） 2.portal对接datakit详细方案评审（刘桐） 3.支持XML类型设计方案评审（刘恒） 4.ODBC windows版本发布设计方案评审（刘恒） 5.JDBC高可用优化需求设计方案评审（陈紫阳） 6.JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪） 7. CM支持容器化部署设计方案评审（张旭博） 8.Debezium全量迁移支持对mysql对象的迁移（彭思）会议结论： - 议题1：dblink支持通过odbc链接异构数据库设计方案评审（陈志凯）评审结论：不通过评审意见： 1. 更换为社区模板重新撰写 2. 完善细节，增加dblink系列函数用法等 3. 增加新接口，查询所有可用的odbc源 4. 修改消息序列图 5. 考虑数据类型等问题 - 议题2：portal对接datakit详细方案评审（刘桐）评审结论：通过评审意见： 1. 关于迁移进度展示：迁移工具持续生成文件去存包括时间在内的迁移进度，portal每隔一段时间（可配置）去查询文件，全量迁移未结束时，连续三次时间戳不更新就挂，如果用户有查询需求，就从portal中查询缓存。 2. 为了兼容以后可能做的反向全量迁移，清理全量校验产生的临时表需要在反向迁移之前进行。 3. 日志是否打到屏上需要加一个参数。 4. 启动计划用一个进程，停止计划用一个进程，使用发送信号量的方式进行进程间通信，通过workspaceID去标识要操作的任务，portal挂掉也使用这种方法去重启。 5. 用户单独使用portal和使用datakit启动portal的逻辑是一致的，不存在特殊场景。 6. 停止在线迁移时，首先在线迁移进程检测source和sink端是否数据已全部处理完，全部处理完后，停止在线迁移。增量迁移结束后，输出lsn，反向迁移开始时，校验lsn。 - 议题3：支持XML类型设计方案评审（刘恒）评审结论：通过评审意见： 1. 补充了一些测试场景，验证升级和回退是否支持xml； 2. 连接jdbc, odbc，Data Studio是否支持xml； - 议题4：ODBC windows版本发布设计方案评审（刘恒）评审结论：通过评审意见： 1. 补充了一些测试场景：验证多ip连接，当主机宕机后，备机是否可以正常使用； 2. 验证omp连接； - 议题5：JDBC高可用优化需求设计方案评审（陈紫阳）评审结论：通过评审意见： 1. 原有功能，缓存复用问题 2. 定时任务间隔时间能否可配置 - 议题6：JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪) 评议结论：通过评审意见： 1. 开发完成后需要测试探活的代价。 2. 开发完成后进行与参数targetservertype的组合测试。 3. 有两个点需要与邮储对需求： a. 是否添加参数，控制快速负载均衡时关闭连接的数量 b. 是否修改快速负载均衡的触发时机，改为定时触发 - 议题7： CM支持容器化部署设计方案评审（张旭博）评审结论：通过评审意见： 1. 添加约束-容器需要带上操作系统的shell这一层 2. 优先使用容器自身的参数-D来保证容器自身不退出 - 议题8：Debezium全量迁移支持对mysql对象的迁移（彭思）评审结论：通过评审意见： 1. 启动全量迁移时，增加配置文件的参数，即决定迁数据或对象 2. sink端：对象串行执行时，考虑依赖的问题，同时对象迁移考虑并发的情况，并行度通过模型计算或者给定min, max，提供自适应能力，抽取为公共能力 3. 迁移报错时，提供报错的列表，根据错误信息判断错误原因：（1）对象不存在，需重试，并设置最大重试次数；（2）语法不兼容，跳过，并记录错误信息。 4. 当部分表没有迁移时，要进行清理等，增加配置参数 5. 集成sql-translator项目时，考虑转与透传的三种情况，增加一个配置项，包含三种情形：（1）透传（2）转换（3）先透传再转换 6. 对象的校验，用户迁移自定义转换 7. 增加sever、event，自定义函数、表空间tablespace这些对象的迁移 8. 梳理变色龙全量迁移的控制参数，是否可在debezium中增加相关设置 9. 迁移对象时不用锁实例，一方面迁移时DDL操作在实际业务中往往受限，同时在对象校验时可作为补救，暂不需锁整个实例导致业务受阻 10 迁移对象的顺序：（1）迁移表（可串行）-> (2) 迁移对象（需考虑并行）-> (3) 迁移数据（按表并行） ->(4) 迁移索引和外键 2022年11月22日议题申报： 3.openGauss监控插件工具方案评审及业务功能演示 2022-11-07 议题申报： 1. gstrace追踪工具增强（谢芳云和恩墨） 2022-09-14 工具sig会议记录会议主题：《可视化开发与运维平台》930版本需求评审会议会议讨论结论如下： 1、胡总提出2不要2必要： 1）2不要：不要做安装部署功能；不要做初始化有的功能，如prometheus上的功能； 2）2必要：支持监控场景找到问题根源；支持存储过程中、大量语句的调试和性能监控； 2、930版本的需求，胡总建议华为参与联合设计需求，让需求更加明确和统一，优先设计并开发“杀手级”的功能； 3、930版本增加一些开发需求： 1）TOPSQL详情页面，增加诊断按钮，可启动诊断任务，使用跟踪机制获取数据，使用ebpf抓取相关数据；增加openGauss的STATMENT_HISTORY统计信息； 2）诊断成功后，数据通过新的界面显示； 3）TOPSQL详情页面，增加SQL执行当前负载的页签，显示该SQL执行时的负载情况； 4）实例详细的图表可根据性能视图需要下钻分析的时间范围，查看对应时间段的TOPSQL信息； 4、原来的需求中，对诊断作用没有那么大的需求可以先不做； 5、本次会议未评审设计方案，等诊断方案出来后，再和张耀中老师联系组织一起评审。风险问题： 1、确定诊断整体方案需要时间，在930版本中存在延期风险。《数据库监控插件生成工具》930版本需求评审会议 1、仓库地址改个名字，以便跟内核的插件有区别。 2、为了方便集成到其他如集成平台中，需要将引入控制台改造成Java实现。 3、后续需要将UCD设计加入到设计文档中。 4、930demo版本进行上线，待后续功能完善时再正式发布。 20220823 tools sig 议题（1）问题单裁决：mysql在线对具有任意形式唯一约束的分区复合表创建索引，opengauss侧迁移失败--主讲人：窦欣 https://gitee.com/opengauss/openGauss-tools-chameleon/issues/I5DAN0?from=pr… （2）众智项目： openGauss-DataStudio 装备存储过程覆盖率工具开发合作项目--主讲人：郑齐俱 1）关于内核插件DBE_PLDEBUGGER的特性说明评测 2）DS功能演示（3）openGauss监控插件生成工具项目–主讲人：许小钦 Thanks & Best regards！ ________________________________ 窦欣 (Dou Xin) E-mail: douxin5(a)huawei.com<mailto:douxin5@huawei.com> Department: openGauss Program

1 0

20230822 openGauss tools sig
by openGauss conference 18 Aug '23

18 Aug '23

您好！ openGauss Tools SIG 邀请您参加 2023-08-22 10:00 召开的zoom会议(自动录制) 会议主题：20230822 openGauss tools sig 会议内容：会议议题： 1、【OM工具】数据库安装、扩容、升级流程解除对root用户的依赖需求设计(刘恒) 外部接入请用下面链接入会，谢谢。 https://meeting.huaweicloud.com/welink/#/j/96102333/rxSreuw1xmwPdnZatQus8IQ… 温馨提醒：需求设计文档评审请记得叫上测试的同事。会议链接：https://us06web.zoom.us/j/88697400735?pwd=Q1VkSy9QRXBJdVhsc213M0FqSmNXUT09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the zoom conference(auto recording) will be held at 2023-08-22 10:00, The subject of the conference is 20230822 openGauss tools sig, Summary: 会议议题： 1、【OM工具】数据库安装、扩容、升级流程解除对root用户的依赖需求设计(刘恒) 外部接入请用下面链接入会，谢谢。 https://meeting.huaweicloud.com/welink/#/j/96102333/rxSreuw1xmwPdnZatQus8IQ… 温馨提醒：需求设计文档评审请记得叫上测试的同事。 You can join the meeting at https://us06web.zoom.us/j/88697400735?pwd=Q1VkSy9QRXBJdVhsc213M0FqSmNXUT09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0