January 2024 - Tools - mailweb.opengauss.org

2024/2/1 openGauss TC会议
by openGauss conference 30 Jan '24

30 Jan '24

您好！ TC 邀请您参加 2024-02-01 16:00 召开的zoom会议(自动录制) 会议主题：2024/2/1 openGauss TC会议会议内容：欢迎大家参加本次TC会议，已收集到一下议题，如有新增议题，请发送至tc(a)opengauss.org 1. openGauss SIG组运作规则对齐，汇报人：梅相如 2. openGauss社区Q1交付需求分工，汇报人：冯伟/熊小军 3. openGauss 24年版本需求规划，汇报人：杨艳明会议链接：https://us06web.zoom.us/j/84990843720?pwd=axtOobEsmTCPIcfcVJbjwno9QYRznO.1 会议纪要：https://etherpad.opengauss.org/p/TC-meetings 更多资讯尽在：{portal_zh} Hello! TC invites you to attend the zoom conference(auto recording) will be held at 2024-02-01 16:00, The subject of the conference is 2024/2/1 openGauss TC会议, Summary: 欢迎大家参加本次TC会议，已收集到一下议题，如有新增议题，请发送至tc(a)opengauss.org 1. openGauss SIG组运作规则对齐，汇报人：梅相如 2. openGauss社区Q1交付需求分工，汇报人：冯伟/熊小军 3. openGauss 24年版本需求规划，汇报人：杨艳明 You can join the meeting at https://us06web.zoom.us/j/84990843720?pwd=axtOobEsmTCPIcfcVJbjwno9QYRznO.1. Add topics at https://etherpad.opengauss.org/p/TC-meetings. More information: {portal_en}

1 0

【会议纪要】 20240124 openGauss tools sig
by douxin (A) 24 Jan '24

24 Jan '24

会议纪要：20240124 openGauss tools sig 议题申报和会议纪要详见链接：https://etherpad.opengauss.org/p/Tools-meetings 2024年1月24日议题申报： 1、datakit支持容灾集群前端部分设计评审（主讲人：梅程）评审意见： 1、容灾集群安装页增加容灾集群类型选择框 2、执行安装页面增加进度条 3、安装失败点击重试时要先清理环境，再执行安装 4、显示命令行窗口的地方注意深色背景情况下的显示 5、容灾集群管理页面显示容灾集群类型 6、环境分离文件路径名称改为环境变量路径 7、不同容灾集群类型时，增加显示主共享盘信息 8、考虑页面关闭或刷新后的异常状态处理 Thanks & Best regards！窦欣 (Dou Xin) E-mail: douxin5(a)huawei.com Department: openGauss Program -----原始约会----- 发件人: openGauss conference [mailto:public@opengauss.org] 发送时间: 2024年1月22日 19:10 收件人: openGauss conference; tools(a)opengauss.org 主题: [Tools] 20240124 openGauss tools sig 时间: 2024年1月24日星期三 10:00-11:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 您好！ Tools 邀请您参加 2024-01-24 10:00 召开的zoom会议会议主题：20240124 openGauss tools sig 会议内容：议题申报： 1、datakit支持容灾集群前端部分设计评审（梅程）外部与会请使用如下链接与会： meeting.huaweicloud.com/welink/#/j/94346875/qjeDL4RDnHHSMsSdWM9lJ3HSbGKR5E5… 会议链接：https://us06web.zoom.us/j/81575346112?pwd=im4w4vh2pUtetsqaKuqIAUAb7qDgIC.1 会议纪要：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：{portal_zh} Hello! Tools invites you to attend the zoom conference will be held at 2024-01-24 10:00, The subject of the conference is 20240124 openGauss tools sig, Summary: 议题申报： 1、datakit支持容灾集群前端部分设计评审（梅程）外部与会请使用如下链接与会： meeting.huaweicloud.com/welink/#/j/94346875/qjeDL4RDnHHSMsSdWM9lJ3HSbGKR5E5… You can join the meeting at https://us06web.zoom.us/j/81575346112?pwd=im4w4vh2pUtetsqaKuqIAUAb7qDgIC.1. Add topics at https://etherpad.opengauss.org/p/Tools-meetings. More information: {portal_en}

1 0

20240124 openGauss tools sig
by openGauss conference 22 Jan '24

22 Jan '24

您好！ Tools 邀请您参加 2024-01-24 10:00 召开的zoom会议会议主题：20240124 openGauss tools sig 会议内容：议题申报： 1、datakit支持容灾集群前端部分设计评审（梅程）外部与会请使用如下链接与会： meeting.huaweicloud.com/welink/#/j/94346875/qjeDL4RDnHHSMsSdWM9lJ3HSbGKR5E5… 会议链接：https://us06web.zoom.us/j/81575346112?pwd=im4w4vh2pUtetsqaKuqIAUAb7qDgIC.1 会议纪要：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：{portal_zh} Hello! Tools invites you to attend the zoom conference will be held at 2024-01-24 10:00, The subject of the conference is 20240124 openGauss tools sig, Summary: 议题申报： 1、datakit支持容灾集群前端部分设计评审（梅程）外部与会请使用如下链接与会： meeting.huaweicloud.com/welink/#/j/94346875/qjeDL4RDnHHSMsSdWM9lJ3HSbGKR5E5… You can join the meeting at https://us06web.zoom.us/j/81575346112?pwd=im4w4vh2pUtetsqaKuqIAUAb7qDgIC.1. Add topics at https://etherpad.opengauss.org/p/Tools-meetings. More information: {portal_en}

1 0

【备份etherpad内容】openGauss tools sig （from 20220823 to 20240117）
by douxin (A) 17 Jan '24

17 Jan '24

大家好，由于etherpad内容经常出现乱码，因此对etherpad内容进行备份。 etherpad链接：https://etherpad.opengauss.org/p/Tools-meetings 2024年1月17日议题申报： 1、讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）直接fork整个工程，还是在opengauss.org官网增加跳转链接？ 2、【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣） 3、【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正） 4、【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博）评审意见：议题1：讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）会议结论：直接在社区上增加一个新的空项目，在README中增加各种压测工具的链接每个工具都可以建立子目录，对应的文档统一归档，包括性能优化文档链接和工具的性能结果议题2：【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣） 1、kafka和迁移工具支持安装在不同的机器上：当前datakit安装迁移插件绑定已安装部分已支持kafka和迁移工具部署在不同机器上 2、portal运行命令后期可采用形如-i start/stop/install -o mysql/oracle -f online/offline等格式，独立命令解析模块，并支持子命令 --help提示和整体--help提示 3、多任务以链式进行组合，多个并行命令可组合成一个整体，实现过程考虑灵活性和扩展性。议题3：【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正） 1、搭建容灾集群的时候选择主备集群角色，在界面上提示需要满足的具体的条件，如果不满足，后续搭建流程会失败； 2、拆分gs_ddr工具为两个阶段执行；在Datakit上为有明确返回的执行过程议题4：【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博） 1. 很多用户会禁用root，只能用子用户做扩容。后面datakit也不保存root权限。需要给出来在子用户做扩容时候给出来前置要做的步骤脚本。 2023年12月26日议题申报： 1、提名申正成为工具链committer 2、openGauss hibernate方言包支持评审意见：议题1：提名申正成为工具链committer 会议结论：一致同意申正为工具链committer 议题2：openGauss hibernate方言包支持会议结论：先由内部整理openGauss方言，包括数据类型、关键字、函数等，之后可由伙伴协助对接至hibernate、liquebase等生态。 2023年12月5日议题申报： 1、【平台适配】新增CSIOS(中软国际磐石操作系统)编译支持（主讲人：刘征）评审意见：议题1：【平台适配】新增CSIOS(中软国际磐石操作系统)编译支持（主讲人：刘征）同意新增CSIOS编译支持，可提交代码至server仓库，但官方正式发布版本不提供该操作系统发布包。 2023年11月27日议题申报： 1、【内核DFX】支持打印工具的进度条checkin评审（主讲人：李居隆）评审意见：议题1：【内核DFX】支持打印工具的进度条checkin评审（主讲人：李居隆） 1、研究是否可以打印进度时附带文件具体信息 2、单文件长时间卡顿进度无变化，可以考虑进度相同时添加变化让用户知晓程序仍在进行 3、通知测试关注进度条信息与实际进度的一致性 4、Check in其他基础检查项通过 2023年11月21日议题申报： 1、【工具链】Datakit支持资源池化安装设计方案评审（主讲人：申正） 2、【工具链】支持数据库向导式一站式安装工具，简化安装流程、快速上手设计方案评审（主讲人：张傲）评审意见：议题1：【工具链】Datakit支持资源池化安装设计方案评审（主讲人：申正） 1、单集群安装：考虑是否可以在界面显示LUN列表，让用户选择，校验界面上的盘符；内核架构：将界面显示的“传统架构”改为“主备架构”；env路径支持自配置； DSS卷支持配置多个volume，支持dsscmd adv扩容 xlog卷名和盘符支持多个LUN的配置；如果选择RDMA的话，提示RDMA安装包的获取方式，并检查RDMA包是否存在；异常终止后需要清理，保证下一次安装正常； 2、双集群安装：资源池化双集群安装时，考虑是否可以从两个单集群组合成双集群，目前不满足双集群搭建的约束条件；双集群安装的时候，前端主备集群需同时启动安装；双集群管理需要考虑界面显示方式和异常情况的处理；议题2：【工具链】支持数据库向导式一站式安装工具，简化安装流程、快速上手设计方案评审（主讲人：张傲） 1、路径信息和端口信息展示，让用户查看，不修改就采用默认。 2、性能模式、生产参数；是否可以带进来？ 3、主备最大高可用，用户提示？ 4、最后添加回显？让用户确认信息。 5、将OM的原有校验逻辑，添加进来，提前做校验。 2023年11月7日议题申报： 1、【内核DFX】支持打印工具的进度条设计方案评审（主讲人：李居隆） 2、【工具链】数据校验支持对对象的校验特性（主讲人：王超）评审意见：议题1：【内核DFX】支持打印工具的进度条设计方案评审（主讲人：李居隆） 1、所有工具打印进度尽量不加命令行参数控制，默认执行时打印进度，自测性能影响 2、自测java中能否对打印信息进行捕获 3、所有打印操作另起进程，实现更新进度与打印进度进程分离 4、gs_probackup工具考虑并发议题2：【工具链】数据校验支持对对象的校验特性（主讲人：王超） 1、Oracle数据库迁移OpenGauss数据校验支撑需求：联系南大尽快修改合入代码进入转测流程 2、数据校验增加对象校验特性需求：针对例程、视图的SQL定义比较，将原始SQL解析为语法树，通过比较抽象语法树结果方式进行比较。调研yylex语法文件转换altlr4语法文件工具或方法 2023年11月2日议题申报： 1、【datakit】Mysql迁移过程增加预操作和切换前检查设计方案评审（主讲人：吴北斗） 2、【内核DFX】支持打印工具的进度条设计方案评审（主讲人：李居隆）评审意见：议题1：【datakit】Mysql迁移过程增加预操作和切换前检查设计方案评审（主讲人：吴北斗） 1、单个子任务占用磁盘大小计算方式-遗留 2、同一个执行机多个子任务的磁盘空间大小计算--使用文件锁，每个进程先获取锁，获取到锁后再读并写入，否则阻塞等待锁的释放 3、数据库连接不上时，binlog参数和磁盘空间满足直接展示"-" 4、根据是否追平&&增量校验校验通过来弹框显示不同的提示信息 5、数据库迁移需要的最小权限-遗留 6、kafka资源保存时间改为3天以及清理策略，不在此特性考虑和实现 7、临时资源的清理放在各个工具议题2：由于时间原因，议题二将在下周会议上评审 2023年10月24日议题申报： 1、【工具链】portal配置优化设计方案评审（主讲人：王巍巍） 2、【datakit】Mysql迁移过程增加预操作和切换前检查设计方案评审（主讲人：吴北斗）评审意见：议题1：【工具链】portal配置优化设计方案评审（主讲人：王巍巍） 1、工具配置方式修改：安装portal时，从工具包中解压获取各个工具的配置文件删除portal包中的配置文件，datakit支持工具参数的修改不支持新增删除 2、 Kafka zk等第三方工具支持选择主机目录进行安装，不支持配置用户的kafka实例 3、 Kafka 实例卸载需要检查使用的任务是否停止有任务正在使用不能卸载 4、全局配置参数需要绑定安装portal的主机支持不同版本的portal配置下发议题2：由于时间原因，议题二将在下周会议上评审 2023年9月12日议题申报： 1、psycopg2驱动发布流程变更提案（主讲人：恩墨——姚前）评审意见：议题1：psycopg2驱动发布流程变更提案（主讲人：恩墨——姚前）同意psycopg2驱动发布流程变更方案，并请刘恒同步实施新的驱动包发布方案，930发包以新方案实施，并协助官网前端负责同事更新下载列表。 openGauss官网psycopy2驱动下载列表item需展开，支持单独下载不同python版本的安装包。 2023年8月22日议题申报： 1、【OM工具】数据库安装、扩容、升级流程解除对root用户的依赖需求设计评审(刘恒) 2、【校验工具】数据校验能力增强方案评审（吕林涛） 3、【迁移工具】全量迁移工具能力增强（蒋宏博） 4、 datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（刘军鹏）评审意见：议题1：【OM工具】数据库安装、扩容、升级流程解除对root用户的依赖需求设计评审(刘恒) 1、gs_preinstall和checkos对于涉及文件权限的，需要整理出来一份清单，方便用户提前操作 2、对于cm的场景也要做下适配 3、datakit这边也要做对应的适配议题2：【校验工具】数据校验能力增强方案评审（吕林涛） 1、数据校验能力增强，需要控制分区数，对比分片完整落入一个分区和多个分片交叉落入一个分区方案差异 2、增加针对抽取快、校验慢问题对应的流控处理手段，补充相关DFX功能设计议题3：【迁移工具】全量迁移工具能力增强（蒋宏博） 1、对于几何类型等二进制类型，验证一下是否可以不使用ST_AsText()转换，直接在opengauss端进行回放。 2、工具异常重启跳过已经迁移完成的表，考虑从csv文件导入数据的场景议题4：datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（刘军鹏）议题4将在后续以show case形式演示 2023年8月1日议题申报： 1、OM工具解除操作系统的依赖校验（张傲） 2、datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（蒋宏博）评审意见：议题1：OM工具解除操作系统的依赖校验（张傲） 1、调研国内其他闭源、开源数据库对OS定位限制； 2、增加不在支持OS列表中的OS测试；议题2：datakit支持兼容性评估(二) （通过动态插桩的方式，识别prepareStatement、executeSQL等关键函数，读取SQL，评估兼容性）（蒋宏博） 1、用户进程在远程主机和本机的场景可以使用同一套框架。 2、提供拉起用户程序方式。 3、提取到的sql，要拿到对应的函数调用栈，并以文件形式输出。 4、支持周期性的sql收集。 5、动态插桩为侵入式的方式，需跟客户同步该方案。 2023-07-25 议题申报： 1、开箱即用工具gs_perfconfig设计评审（胡正超） 2、增量迁移、逆向迁移工具能力增强设计方案评审（王正元） 3、chameleon解除跨平台依赖特性设计方案评审（刘桐） 4、openGauss支持ceph部署资源池化设计方案评审（张旭博） 5、benchmark工厂插件任务管理设计方案评审（李睿祥）评审意见：议题1：开箱即用工具gs_perfconfig设计评审（胡正超） 1、对于xlog分盘的调整，可以列出来磁盘，供用户选择。 2、考虑资源池化场景。 3、bios的设置，存在一些工具可以读取，在操作系统层面也能间接看到，但不一定全，可以考虑使用这些进行简单探测。 4、新增参数 --apply，工具默认不进行调整，只给出建议，只有--apply之后才具体的调整。 5、类的设计要具备可扩展的能力。议题2：增量迁移、逆向迁移工具能力增强设计方案评审（王正元） 1、增量迁移涉及主外表关联关系的ddl操作将两张表对应的线程合并后再执行 2、portal评估系统资源并按照系统资源配置启动参数的功能规划并跟进 3、创建脚本，根据portal配置的启动参数去修改confluent启动脚本的参数 4、增量迁移按表并行还是按事务并行由source端参数控制，该参数通过kafka传到sink端 5、openGauss端jdbc设置session_timeout=0再加入超时重连机制，MySQL端加入超时重连机制 6、跟进增量迁移按表并行时的断点续传功能适配 7、调研kafka数据文件占用磁盘过多时的解决方案议题3：chameleon解除跨平台依赖特性设计方案评审（刘桐） 1、tar.gz包安装失败后使用whl包重试。 2、安装时需要检测系统小版本（防止用户输错版本）。 3、安装chameleon的虚拟环境时安装包尝试进行裁剪。议题4：openGauss支持ceph部署资源池化设计方案评审（张旭博） 1、对比测试下rbd和通过iscsi的读写性能差距，使用dd或fio工具 2、考虑适配多路径配置，提高可靠性 3、对于om工具添加对应的卸载能力 4、重点测试下倒换能力，故障后能否能够去掉注册，继续访问磁盘。测试断开网络连接集群表现议题5：benchmark工厂插件任务管理设计方案评审（李睿祥） 1、创建一个单独的database保存benchmark工厂的插件 2、确定插件中使用websocket依赖的可行性 2023-07-18 议题申报： 1、【迁移工具】Datakit Oracle 迁移插件设计方案（南大通用-王睿博） 2、【迁移工具】支持免部署单机版迁移工具（软通-田可辉） 3、 Datakit Web Data Studio支持调试匿名块（李秦朗）评审意见：议题1：【迁移工具】Datakit Oracle 迁移插件设计方案（南大通用-王睿博）初步评审通过，可进行开发，后续开发完成后需细化并再次评审文档，并关注性能指标。议题2：【迁移工具】支持免部署单机版迁移工具（软通-田可辉）与现有迁移工具存在较多重复，为开发者讲解datakit还需补齐的能力，希望开发者可以通过承接datakit需求参与到社区开发。议题3：Datakit Web Data Studio支持调试匿名块（李秦朗）由于会议信号较差，议题3自行组织评审 2023-06-06 议题申报： 1、【迁移工具】反向迁移支持全量迁移（陈紫阳） 2、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛） 3、【迁移工具】支持源端是openGauss和csv文件的校验（王正元）评审意见：议题1：【迁移工具】反向迁移支持全量迁移（陈紫阳）评审意见： 1.文件夹总大小控制避免过大 2.对接portal以及datakit，进度上报 3.数据类型转换 4.sink端线程分发逻辑 5.断点续传 6.反向增量迁移对接快照点议题2：【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）评审意见： 1.长时间未中断，断点消息内需要从大小和时间两个维度执行清除策略 2.增量迁移内，已实现事务级回放，不需要对事务内SQL语句在线程执行时记录到断点信息呢，只需记录整个事务的执行结果议题3：【迁移工具】支持源端是openGauss和csv文件的校验（王正元）评审意见： 1、对待校验的csv文件格式与来源要做规定--仅限变色龙全量迁移导出的csv文件 2、源端是openGauss与csv文件时要支持由portal管理，与datakit对接 3、对忽略的无主键表要有日志提示，在进度文件上要有体现 2023-05-30 议题申报： 1、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣） 2、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣） 3、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛） 4、【迁移工具】反向迁移支持全量迁移（陈紫阳）评审意见：议题1：【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣）评审意见：（1）结合参数keep_existing_schema，支持不连接源端mysql数据库，可支持数据导入（2）需结合机器核数和并行度，默认设置合理的索引并行度，当前默认值16在4c16g配置上可能不够合理议题2：【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣）评审结论：当前全量迁移chameleon构造表的DDL采用系统表查询并拼接的方式构造DDL，当前版本维持不变。后续演进中，伴随兼容性较完善，全量迁移可采用show create table name查询表的定义。议题3：【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）评审意见：（1）异步提交offset是否在sink端获取数据，多线程执行回放后？（2）在每个线程执行回放后记录断点信息，是否会存在回放了，但是没有记录到断点信息？（3）方案内部记录所有的回放结果，是否太重了，有没有更好的方案。议题4：由于时间关系，议题4在下周会议进行评审。大家好， openGauss社区2023年度开发者大会将于2023年5月26日在北京·昆泰嘉瑞文化中心举办，届时Tools也会线下组织SIG版本规划工作会议，集中讨论用户需求、未来技术发展、工作任务分工等，在此诚邀您的参与。时间：2023年5月26日 16:00-17:30 地址：北京·昆泰嘉瑞文化中心现场参会需提前报名： https://e-campaign.huawei.com/m/6vaqiy 与会人员: ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Please add your name and gitee_id below. 熊小军 xiong_xjun 贺承汉 he-chenghan 彭炯 totaj 周斌 justbk 窦欣 ywzq1161327784 李春 woqutech_0 李凯【议题申报+发起人】： --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- Please include the topic, a brief description, link of your name and gitee ID with your topic (At this point, the ordering is arbitrary, the SIG maintainers will arrange orders when we have a finalized list, roughly 3 days before the meeting) 请填写您想要提交的议题内容，包括议题发起人，简单的议题说明，Issue 反馈的在线地址，已有的技术方案或PR，已有的讨论纪要等。 1、Datakit增加opengauss第三方双向同步能力(沃趣-李春) 2、jdbc增加java6和java7的特性分支(华为-周斌) https://gitee.com/opengauss/openGauss-connector-jdbc/issues/I60Z98?from=pro… 3、datakit支持兼容性评估(蒋宏博) 4、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣） 5、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣） 6、 dolphin轻量版版本基于cmake的编译测试checkin （王修强-云和恩墨） 7、show open tables+storage engines+slave status需求 checkin评审（移动） 8、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛） 9、【迁移工具】反向迁移支持全量迁移（陈紫阳） --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 20230526会议纪要：议题申报： 1、Datakit增加opengauss第三方双向同步能力(沃趣-李春) 2、jdbc增加java6和java7的特性分支(华为-周斌) https://gitee.com/opengauss/openGauss-connector-jdbc/issues/I60Z98?from=pro… 3、datakit支持兼容性评估(蒋宏博) 4、【迁移工具】全量迁移工具支持读取csv文件用于数据迁移特性设计说明书（窦欣） 5、【迁移工具】MySQL迁移工具适配内核兼容性特性设计说明书（窦欣） 6、 dolphin轻量版版本基于cmake的编译测试checkin （王修强-云和恩墨） 7、show open tables+storage engines+slave status需求 checkin评审（移动） 8、【迁移工具】迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛） 9、【迁移工具】反向迁移支持全量迁移（陈紫阳）评审意见： 1、Datakit增加opengauss第三方双向同步能力(沃趣-李春) 遗留问题：无 2、jdbc增加java6和java7的特性分支(华为-周斌) 评审结论：同意jdbc增加java6和java7的特性分支 3、datakit支持兼容性评估(蒋宏博) 评审意见：sql文件作为输入时，每条sql以分号作为分隔符可能存在sql解析不正确的情况其余议题4、5、8、9因为时间关系将在20230530的tools sig会议上评审。议题6、7将在plugin sig进行评审。 2023-5-11 议题申报： 1.数据全量校验性能提升150M（王超） 2.迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）会议结论： 1.数据全量校验性能提升150M（王超）评审结论：通过评审意见： 1、增加不同表平均长度验证fetchSize大小对性能影响 2、验证ANALYZE 对tables.table_rows的影响 3、测试场景使用sysbench测试模型,与迁移保持一致。 2.迁移工具支持断点续传（增量迁移、反向迁移）（吕林涛）评审结论：不通过评审意见：按照dbox文档评审意见答复检视意见，并结合意见修改和完善设计文档 2023-4-11 议题申报： 1：设计文档评审（主讲人：王正元）【迁移工具】迁移工具可调试性增强、可靠性增强（增量迁移）【迁移工具】迁移工具可调试性增强、可靠性增强（反向迁移） 2.⽀持在switchover超时时，打印数据库内核的堆栈设计方案评审（移动 Jenny）评审意见：议题1：设计文档评审（主讲人：王正元）【迁移工具】迁移工具可调试性增强、可靠性增强（增量迁移）【迁移工具】迁移工具可调试性增强、可靠性增强（反向迁移） 1、迁移失败的数据直接展示sql语句 2、进度上报功能作为公共接口，在具体模块实现，设计类之间的实现与交互关系 3、文件输出路径应该在工具的工作目录下，保证权限最小化 4、历史进度文件按文件数和时间定点清理 5、工具应支持自主上报总体数据时延 6、进度数据各字段命名要尽量见名知义 7、进度文件应支持覆盖写入和追加写入两种形式 8、source端配置黑名单是有跳过的数据，进度文件应该包含该字段 9、配置文件添加功能开关参数 10、允许新功能对迁移性能的影响在合理范围内 11、调研进度是否可根据数据存储量大小上报 12、后续反向断点续传注意数据一致性议题2：⽀持在switchover超时时，打印数据库内核的堆栈设计方案评审（移动 Jenny）该议题主要涉及存储层修改，建议该议题在存储sig进行评审 2023-3-7 议题申报： 1. datakit用户提单模板(国创曾色亮) 2. om屏蔽python版本差异(蒋宏博) 3. datastudio支持新数据类型 (甘洋) 4. 添加快照（snapshot）备份功能(王硕李颖) 功能的基本描述：（1）.创建快照（copy-on-write）：在快照时间点之后复制快照，不采用物理数据复制方式，仅复制原始数据物理位置的元数据。可以瞬间完成快照创建。（2）.恢复快照：快照副本可跟踪原始卷的数据变化，一旦原始卷数据块发生写操作，可先将原始卷数据块读出并写入快照卷，能够用新数据块覆盖原始卷，从而实现快照恢复的功能。 5.备份保留天数逻辑修改（岳川海涛） gs_probackup工具 retention_window参数实现逻辑修改（方案已经给出，抛出问题落实排期） 2023-2-21 议题申报： 1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）会议结论： - 议题1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）评审建议：（1）验证增量迁移执行create user语句时，binlog是否含有grant权限相关的语句（2）海量需求支持字段大小写敏感合入后，验证大小写功能是否一致（3）autoincrement内核已适配（4）验证时间类型是否可为0000-00-00，或者全0表示（5）关于迁移报错处理流程： create/alter table相关报错，会影响后续dml操作，因此报错后走正常退出流程；存储过程、视图等迁移报错不影响dml操作，因此写入错误日志中，不终止迁移过程。（6）针对数据库版本和工具版本的配套使用问题：所有工具（包括迁移和校验），在启动时校验数据库版本和工具版本的匹配问题，若不满足数据库版本>=工具版本，则工具退出，不执行后续的迁移校验流程。（7）sql_mode等相关参数要求用户迁移前设置与mysql保持一致 B库下建议打开的参数： dolphin.b_compatibility_mode = on; enable_set_variable_b_format=on; 其中b_compatibility_mode 控制了很多函数、操作符的表现和mysql兼容，建议打开，enable_set_variable_b_format 用于支持 set @var=1; 自定义变量，在存储过程、函数、trigger等场景可能被大量使用，建议打开 dolphin.sql_mode 和 mysql 的sql_mode 的映射关系如下： sql_mode_strict -> STRICT_TRANS_TABLES sql_mode_full_group -> ONLY_FULL_GROUP_BY pipes_as_concat ->pipes_as_concat ansi_quotes ->ansi_quotes no_zero_date -> no_zero_date 没列出来的sql mode都是不支持的 dolphin插件需增加的功能：（1）mysql中参数lower_case_table_names用于控制库表名的大小写，dolphin.lower_case_table_names增加库名（即schema名称）的大小写敏感（2）dolphin插件支持ALGORITHM语法兼容 2023-2-13 议题申报： 1.升级数据字典检验工具（一）设计评审。 2.JDBC的cleanupTimer锁机制优化 3.工具代码仓梳理和命名讨论； 4.工具代码仓check-in模板讨论 2023-2-7 议题申报： 1.dblink支持通过odbc链接异构数据库设计方案评审（陈志凯） 2.portal对接datakit详细方案评审（刘桐） 3.支持XML类型设计方案评审（刘恒） 4.ODBC windows版本发布设计方案评审（刘恒） 5.JDBC高可用优化需求设计方案评审（陈紫阳） 6.JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪） 7. CM支持容器化部署设计方案评审（张旭博） 8.Debezium全量迁移支持对mysql对象的迁移（彭思）会议结论： - 议题1：dblink支持通过odbc链接异构数据库设计方案评审（陈志凯）评审结论：不通过评审意见： 1. 更换为社区模板重新撰写 2. 完善细节，增加dblink系列函数用法等 3. 增加新接口，查询所有可用的odbc源 4. 修改消息序列图 5. 考虑数据类型等问题 - 议题2：portal对接datakit详细方案评审（刘桐）评审结论：通过评审意见： 1. 关于迁移进度展示：迁移工具持续生成文件去存包括时间在内的迁移进度，portal每隔一段时间（可配置）去查询文件，全量迁移未结束时，连续三次时间戳不更新就挂，如果用户有查询需求，就从portal中查询缓存。 2. 为了兼容以后可能做的反向全量迁移，清理全量校验产生的临时表需要在反向迁移之前进行。 3. 日志是否打到屏上需要加一个参数。 4. 启动计划用一个进程，停止计划用一个进程，使用发送信号量的方式进行进程间通信，通过workspaceID去标识要操作的任务，portal挂掉也使用这种方法去重启。 5. 用户单独使用portal和使用datakit启动portal的逻辑是一致的，不存在特殊场景。 6. 停止在线迁移时，首先在线迁移进程检测source和sink端是否数据已全部处理完，全部处理完后，停止在线迁移。增量迁移结束后，输出lsn，反向迁移开始时，校验lsn。 - 议题3：支持XML类型设计方案评审（刘恒）评审结论：通过评审意见： 1. 补充了一些测试场景，验证升级和回退是否支持xml； 2. 连接jdbc, odbc，Data Studio是否支持xml； - 议题4：ODBC windows版本发布设计方案评审（刘恒）评审结论：通过评审意见： 1. 补充了一些测试场景：验证多ip连接，当主机宕机后，备机是否可以正常使用； 2. 验证omp连接； - 议题5：JDBC高可用优化需求设计方案评审（陈紫阳）评审结论：通过评审意见： 1. 原有功能，缓存复用问题 2. 定时任务间隔时间能否可配置 - 议题6：JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪) 评议结论：通过评审意见： 1. 开发完成后需要测试探活的代价。 2. 开发完成后进行与参数targetservertype的组合测试。 3. 有两个点需要与邮储对需求： a. 是否添加参数，控制快速负载均衡时关闭连接的数量 b. 是否修改快速负载均衡的触发时机，改为定时触发 - 议题7： CM支持容器化部署设计方案评审（张旭博）评审结论：通过评审意见： 1. 添加约束-容器需要带上操作系统的shell这一层 2. 优先使用容器自身的参数-D来保证容器自身不退出 - 议题8：Debezium全量迁移支持对mysql对象的迁移（彭思）评审结论：通过评审意见： 1. 启动全量迁移时，增加配置文件的参数，即决定迁数据或对象 2. sink端：对象串行执行时，考虑依赖的问题，同时对象迁移考虑并发的情况，并行度通过模型计算或者给定min, max，提供自适应能力，抽取为公共能力 3. 迁移报错时，提供报错的列表，根据错误信息判断错误原因：（1）对象不存在，需重试，并设置最大重试次数；（2）语法不兼容，跳过，并记录错误信息。 4. 当部分表没有迁移时，要进行清理等，增加配置参数 5. 集成sql-translator项目时，考虑转与透传的三种情况，增加一个配置项，包含三种情形：（1）透传（2）转换（3）先透传再转换 6. 对象的校验，用户迁移自定义转换 7. 增加sever、event，自定义函数、表空间tablespace这些对象的迁移 8. 梳理变色龙全量迁移的控制参数，是否可在debezium中增加相关设置 9. 迁移对象时不用锁实例，一方面迁移时DDL操作在实际业务中往往受限，同时在对象校验时可作为补救，暂不需锁整个实例导致业务受阻 10 迁移对象的顺序：（1）迁移表（可串行）-> (2) 迁移对象（需考虑并行）-> (3) 迁移数据（按表并行） ->(4) 迁移索引和外键 2022年11月22日议题申报： 3.openGauss监控插件工具方案评审及业务功能演示 2022-11-07 议题申报： 1. gstrace追踪工具增强（谢芳云和恩墨） 2022-09-14 工具sig会议记录会议主题：《可视化开发与运维平台》930版本需求评审会议会议讨论结论如下： 1、胡总提出2不要2必要： 1）2不要：不要做安装部署功能；不要做初始化有的功能，如prometheus上的功能； 2）2必要：支持监控场景找到问题根源；支持存储过程中、大量语句的调试和性能监控； 2、930版本的需求，胡总建议华为参与联合设计需求，让需求更加明确和统一，优先设计并开发“杀手级”的功能； 3、930版本增加一些开发需求： 1）TOPSQL详情页面，增加诊断按钮，可启动诊断任务，使用跟踪机制获取数据，使用ebpf抓取相关数据；增加openGauss的STATMENT_HISTORY统计信息； 2）诊断成功后，数据通过新的界面显示； 3）TOPSQL详情页面，增加SQL执行当前负载的页签，显示该SQL执行时的负载情况； 4）实例详细的图表可根据性能视图需要下钻分析的时间范围，查看对应时间段的TOPSQL信息； 4、原来的需求中，对诊断作用没有那么大的需求可以先不做； 5、本次会议未评审设计方案，等诊断方案出来后，再和张耀中老师联系组织一起评审。风险问题： 1、确定诊断整体方案需要时间，在930版本中存在延期风险。《数据库监控插件生成工具》930版本需求评审会议 1、仓库地址改个名字，以便跟内核的插件有区别。 2、为了方便集成到其他如集成平台中，需要将引入控制台改造成Java实现。 3、后续需要将UCD设计加入到设计文档中。 4、930demo版本进行上线，待后续功能完善时再正式发布。 20220823 tools sig 议题（1）问题单裁决：mysql在线对具有任意形式唯一约束的分区复合表创建索引，opengauss侧迁移失败--主讲人：窦欣 https://gitee.com/opengauss/openGauss-tools-chameleon/issues/I5DAN0?from=pr… （2）众智项目： openGauss-DataStudio 装备存储过程覆盖率工具开发合作项目--主讲人：郑齐俱 1）关于内核插件DBE_PLDEBUGGER的特性说明评测 2）DS功能演示（3）openGauss监控插件生成工具项目–主讲人：许小钦 Thanks & Best regards！ ________________________________ 窦欣 (Dou Xin) E-mail: douxin5(a)huawei.com<mailto:douxin5@huawei.com> Department: openGauss Program

1 0

[会议纪要] 【openGauss tools sig】20240117
by douxin (A) 17 Jan '24

17 Jan '24

会议纪要：20231226 openGauss tools sig 议题申报和会议纪要详见链接：https://etherpad.opengauss.org/p/Tools-meetings 2024年1月17日议题申报： 1、讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）直接fork整个工程，还是在opengauss.org官网增加跳转链接？ 2、【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣） 3、【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正） 4、【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博）评审意见：议题1：讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）会议结论：直接在社区上增加一个新的空项目，在README中增加各种压测工具的链接每个工具都可以建立子目录，对应的文档统一归档，包括性能优化文档链接和工具的性能结果议题2：【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣） 1、kafka和迁移工具支持安装在不同的机器上：当前datakit安装迁移插件绑定已安装部分已支持kafka和迁移工具部署在不同机器上 2、portal运行命令后期可采用形如-i start/stop/install -o mysql/oracle -f online/offline等格式，独立命令解析模块，并支持子命令 --help提示和整体--help提示 3、多任务以链式进行组合，多个并行命令可组合成一个整体，实现过程考虑灵活性和扩展性。议题3：【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正） 1、搭建容灾集群的时候选择主备集群角色，在界面上提示需要满足的具体的条件，如果不满足，后续搭建流程会失败； 2、拆分gs_ddr工具为两个阶段执行；在Datakit上为有明确返回的执行过程议题4：【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博） 1. 很多用户会禁用root，只能用子用户做扩容。后面datakit也不保存root权限。需要给出来在子用户做扩容时候给出来前置要做的步骤脚本。 Thanks & Best regards！窦欣 (Dou Xin) E-mail: douxin5(a)huawei.com Department: openGauss Program -----原始约会----- 发件人: openGauss conference [mailto:public@opengauss.org] 发送时间: 2024年1月15日 10:50 收件人: openGauss conference; tools(a)opengauss.org 主题: [Tools] 【openGauss tools sig】20240117 时间: 2024年1月17日星期三 14:30-16:30(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 您好！ openGauss Tools SIG 邀请您参加 2024-01-17 14:30 召开的zoom会议(自动录制) 会议主题：【openGauss tools sig】20240117 会议内容： 2024年1月17日议题申报： 1、讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）直接fork整个工程，还是在opengauss.org官网增加跳转链接？ 2、【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣） 3、【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正） 4、【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博）外部参会，请使用如下链接与会 https://meeting.huaweicloud.com/welink/#/j/97125104/8Zrs508zpm2BMALScI1vQby… 会议链接：https://us06web.zoom.us/j/89172447134?pwd=a7aWbtR6NyzFckM29OxBgrQEbItwlm.1 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the zoom conference(auto recording) will be held at 2024-01-17 14:30, The subject of the conference is 【openGauss tools sig】20240117, Summary: 2024年1月17日议题申报： 1、讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）直接fork整个工程，还是在opengauss.org官网增加跳转链接？ 2、【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣） 3、【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正） 4、【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博）外部参会，请使用如下链接与会 https://meeting.huaweicloud.com/welink/#/j/97125104/8Zrs508zpm2BMALScI1vQby… You can join the meeting at https://us06web.zoom.us/j/89172447134?pwd=a7aWbtR6NyzFckM29OxBgrQEbItwlm.1. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

【openGauss tools sig】20240117
by openGauss conference 15 Jan '24

15 Jan '24

您好！ openGauss Tools SIG 邀请您参加 2024-01-17 14:30 召开的zoom会议(自动录制) 会议主题：【openGauss tools sig】20240117 会议内容： 2024年1月17日议题申报： 1、讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）直接fork整个工程，还是在opengauss.org官网增加跳转链接？ 2、【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣） 3、【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正） 4、【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博）外部参会，请使用如下链接与会 https://meeting.huaweicloud.com/welink/#/j/97125104/8Zrs508zpm2BMALScI1vQby… 会议链接：https://us06web.zoom.us/j/89172447134?pwd=a7aWbtR6NyzFckM29OxBgrQEbItwlm.1 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the zoom conference(auto recording) will be held at 2024-01-17 14:30, The subject of the conference is 【openGauss tools sig】20240117, Summary: 2024年1月17日议题申报： 1、讨论在社区增加hybench的代码工程如何放置（主讲人：周斌）直接fork整个工程，还是在opengauss.org官网增加跳转链接？ 2、【工具链】portal执行流程优化（一）设计文档评审（主讲人：窦欣） 3、【工具链】datakit工具支持资源池化双集群部署设计文档评审（主讲人：申正） 4、【工具链】扩容工具易用性提升设计文档评审（主讲人：张旭博）外部参会，请使用如下链接与会 https://meeting.huaweicloud.com/welink/#/j/97125104/8Zrs508zpm2BMALScI1vQby… You can join the meeting at https://us06web.zoom.us/j/89172447134?pwd=a7aWbtR6NyzFckM29OxBgrQEbItwlm.1. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0