Tools sig议题申报和会议结论详见:https://etherpad.opengauss.org/p/Tools-meetings
2023-07-25 tools sig会议纪要
2023-07-25
议题申报:
1、开箱即用工具gs_perfconfig设计评审(胡正超)
2、增量迁移、逆向迁移工具能力增强设计方案评审(王正元)
3、chameleon解除跨平台依赖特性设计方案评审(刘桐)
4、openGauss支持ceph部署资源池化设计方案评审(张旭博)
5、benchmark工厂插件任务管理设计方案评审(李睿祥)
评审意见:
议题1:开箱即用工具gs_perfconfig设计评审(胡正超)
1、对于xlog分盘的调整,可以列出来磁盘,供用户选择。
2、考虑资源池化场景。
3、bios的设置,存在一些工具可以读取,在操作系统层面也能间接看到,但不一定全,可以考虑使用这些进行简单探测。
4、新增参数 --apply, 工具默认不进行调整,只给出建议,只有--apply之后才具体的调整。
5、类的设计要具备可扩展的能力。
议题2:增量迁移、逆向迁移工具能力增强设计方案评审(王正元)
1、增量迁移涉及主外表关联关系的ddl操作将两张表对应的线程合并后再执行
2、portal评估系统资源并按照系统资源配置启动参数的功能规划并跟进
3、创建脚本,根据portal配置的启动参数去修改confluent启动脚本的参数
4、增量迁移按表并行还是按事务并行由source端参数控制,该参数通过kafka传到sink端
5、openGauss端jdbc设置session_timeout=0再加入超时重连机制,MySQL端加入超时重连机制
6、跟进增量迁移按表并行时的断点续传功能适配
7、调研kafka数据文件占用磁盘过多时的解决方案
议题3:chameleon解除跨平台依赖特性设计方案评审(刘桐)
1、tar.gz包安装失败后使用whl包重试。
2、安装时需要检测系统小版本(防止用户输错版本)。
3、安装chameleon的虚拟环境时安装包尝试进行裁剪。
议题4:openGauss支持ceph部署资源池化设计方案评审(张旭博)
1、 对比测试下rbd和通过iscsi的读写性能差距,使用dd或fio工具
2、考虑适配多路径配置,提高可靠性
3、 对于om工具添加对应的卸载能力
4、重点测试下倒换能力,故障后能否能够去掉注册,继续访问磁盘。 测试断开网络连接集群表现
议题5:benchmark工厂插件任务管理设计方案评审(李睿祥)
1、创建一个单独的database保存benchmark工厂的插件
2、确定插件中使用websocket依赖的可行性
Thanks & Best regards!
窦欣 (Dou Xin)
E-mail: douxin5(a)huawei.com
Department: openGauss Program
-----原始约会-----
发件人: openGauss conference [mailto:public@opengauss.org]
发送时间: 2023年7月27日 16:38
收件人: tools(a)opengauss.org
主题: [Tools] openGauss tools
时间: 2023年7月28日星期五 10:00-12:00(UTC+08:00) 北京,重庆,香港特别行政区,乌鲁木齐。
地点:
您好!
openGauss Tools SIG 邀请您参加 2023-07-28 10:00 召开的zoom会议
会议主题:openGauss tools
会议内容:
议题申报:
3、chameleon解除跨平台的依赖设计方案评审(刘桐)
4、openGauss支持ceph部署资源池化设计方案评审(张旭博)
5、benchmark工厂插件任务管理设计方案评审(李睿祥)
请通过如下welink外部会议接入:
https://meeting.huaweicloud.com/welink/#/j/99426551/2wDZCeOCvwEcUVcI8k44cA9…
会议链接:https://us06web.zoom.us/j/86711349435?pwd=K213ZkQzT3E4aFg5UDQyZHBiMkFwQT09
温馨提醒:建议接入会议后修改参会人的姓名,也可以使用您在gitee.com的ID
提前申报议题请编辑:https://etherpad.opengauss.org/p/Tools-meetings更多资讯尽在:https://opengauss.org/zh/
Hello!
openGauss Tools SIG invites you to attend the zoom conference will be held at 2023-07-28 10:00,
The subject of the conference is openGauss tools,
Summary:
议题申报:
3、chameleon解除跨平台的依赖设计方案评审(刘桐)
4、openGauss支持ceph部署资源池化设计方案评审(张旭博)
5、benchmark工厂插件任务管理设计方案评审(李睿祥)
请通过如下welink外部会议接入:
https://meeting.huaweicloud.com/welink/#/j/99426551/2wDZCeOCvwEcUVcI8k44cA9…
You can join the meeting at https://us06web.zoom.us/j/86711349435?pwd=K213ZkQzT3E4aFg5UDQyZHBiMkFwQT09.
Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com.
Add topics: https://etherpad.opengauss.org/p/Tools-meetings
More information: https://opengauss.org/en/
您好!
openGauss Tools SIG 邀请您参加 2023-07-27 10:00 召开的zoom会议(自动录制)
会议主题:[Update] 20230725 openGauss tools sig
会议内容:
议题申报:
1、开箱即用工具gs_perfconfig设计评审(胡正超)
2、增量迁移、逆向迁移工具能力增强设计方案评审(王正元)
3、chameleon解除跨平台的依赖设计方案评审(刘桐)
4、openGauss支持ceph部署资源池化设计方案评审(张旭博)
会议链接:https://us06web.zoom.us/j/89114680070?pwd=N0lDZWJldGxTaVFoZmVaK2Y5cVNNZz09
温馨提醒:建议接入会议后修改参会人的姓名,也可以使用您在gitee.com的ID
提前申报议题请编辑:https://etherpad.opengauss.org/p/Tools-meetings更多资讯尽在:https://opengauss.org/zh/
Hello!
openGauss Tools SIG invites you to attend the zoom conference(auto recording) will be held at 2023-07-27 10:00,
The subject of the conference is [Update] 20230725 openGauss tools sig,
Summary:
议题申报:
1、开箱即用工具gs_perfconfig设计评审(胡正超)
2、增量迁移、逆向迁移工具能力增强设计方案评审(王正元)
3、chameleon解除跨平台的依赖设计方案评审(刘桐)
4、openGauss支持ceph部署资源池化设计方案评审(张旭博)
You can join the meeting at https://us06web.zoom.us/j/89114680070?pwd=N0lDZWJldGxTaVFoZmVaK2Y5cVNNZz09.
Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com.
Add topics: https://etherpad.opengauss.org/p/Tools-meetings
More information: https://opengauss.org/en/
Tools sig议题申报和会议结论详见:https://etherpad.opengauss.org/p/Tools-meetings
2023-06-06 tools sig会议纪要
议题申报:
1、【迁移工具】反向迁移支持全量迁移(陈紫阳)
2、【迁移工具】迁移工具支持断点续传(增量迁移、反向迁移)(吕林涛)
3、【迁移工具】支持源端是openGauss和csv文件的校验(王正元)
评审意见:
议题1:【迁移工具】反向迁移支持全量迁移(陈紫阳)
评审意见:
1.文件夹总大小控制避免过大
2.对接portal以及datakit,进度上报
3.数据类型转换
4.sink端线程分发逻辑
5.断点续传
6.反向增量迁移对接快照点
议题2:【迁移工具】迁移工具支持断点续传(增量迁移、反向迁移)(吕林涛)
评审意见:
1.长时间未中断,断点消息内需要从大小和时间两个维度执行清除策略
2.增量迁移内,已实现事务级回放,不需要对事务内SQL语句在线程执行时记录到断点信息呢,只需记录整个事务的执行结果
议题3:【迁移工具】支持源端是openGauss和csv文件的校验(王正元)
评审意见:
1、对待校验的csv文件格式与来源要做规定--仅限变色龙全量迁移导出的csv文件
2、源端是openGauss与csv文件时要支持由portal管理,与datakit对接
3、对忽略的无主键表要有日志提示,在进度文件上要有体现
Thanks & Best regards!
窦欣 (Dou Xin)
E-mail: douxin5(a)huawei.com
Department: openGauss Program
-----原始约会-----
发件人: openGauss conference [mailto:public@opengauss.org]
发送时间: 2023年6月5日 19:18
收件人: openGauss conference; tools(a)opengauss.org
主题: [Tools] 20230606 openGauss tools sig
时间: 2023年6月6日星期二 10:00-12:00(UTC+08:00) 北京,重庆,香港特别行政区,乌鲁木齐。
地点:
您好!
openGauss Tools SIG 邀请您参加 2023-06-06 10:00 召开的zoom会议(自动录制)
会议主题:20230606 openGauss tools sig
会议链接:https://us06web.zoom.us/j/89146966005?pwd=OWtKQzhoWWVCNTlWMzI0RWNEN3VCQT09
温馨提醒:建议接入会议后修改参会人的姓名,也可以使用您在gitee.com的ID
提前申报议题请编辑:https://etherpad.opengauss.org/p/Tools-meetings更多资讯尽在:https://opengauss.org/zh/
Hello!
openGauss Tools SIG invites you to attend the zoom conference(auto recording) will be held at 2023-06-06 10:00,
The subject of the conference is 20230606 openGauss tools sig,
You can join the meeting at https://us06web.zoom.us/j/89146966005?pwd=OWtKQzhoWWVCNTlWMzI0RWNEN3VCQT09.
Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com.
Add topics: https://etherpad.opengauss.org/p/Tools-meetings
More information: https://opengauss.org/en/