February 2023 - Tools - mailweb.opengauss.org

[会议纪要] openGauss tools sig例会-0220
by douxin (A) 23 Feb '23

23 Feb '23

评审结论详情：https://etherpad.opengauss.org/p/Tools-meetings 议题申报： 1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）会议结论： - 议题1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）评审建议：（1）验证增量迁移执行create user语句时，binlog是否含有grant权限相关的语句（2）海量需求支持字段大小写敏感合入后，验证大小写功能是否一致（3）autoincrement内核已适配（4）验证时间类型是否可为0000-00-00，或者全0表示（5）关于迁移报错处理流程： create/alter table相关报错，会影响后续dml操作，因此报错后走正常退出流程；存储过程、视图等迁移报错不影响dml操作，因此写入错误日志中，不终止迁移过程。（6）针对数据库版本和工具版本的配套使用问题：所有工具（包括迁移和校验），在启动时校验数据库版本和工具版本的匹配问题，若不满足数据库版本>=工具版本，则工具退出，不执行后续的迁移校验流程。（7）sql_mode等相关参数要求用户迁移前设置与mysql保持一致 B库下建议打开的参数： dolphin.b_compatibility_mode = on; enable_set_variable_b_format=on; 其中b_compatibility_mode 控制了很多函数、操作符的表现和mysql兼容，建议打开，enable_set_variable_b_format 用于支持 set @var=1; 自定义变量，在存储过程、函数、trigger等场景可能被大量使用，建议打开 dolphin.sql_mode 和 mysql 的sql_mode 的映射关系如下： sql_mode_strict -> STRICT_TRANS_TABLES sql_mode_full_group -> ONLY_FULL_GROUP_BY pipes_as_concat ->pipes_as_concat ansi_quotes ->ansi_quotes no_zero_date -> no_zero_date 没列出来的sql mode都是不支持的 dolphin插件需增加的功能：（1）mysql中参数lower_case_table_names用于控制库表名的大小写，dolphin.lower_case_table_names增加库名（即schema名称）的大小写敏感（2）dolphin插件支持ALGORITHM语法兼容 Thanks & Best regards！窦欣 (Dou Xin) E-mail: douxin5(a)huawei.com Department: openGauss Program -----原始约会----- 发件人: openGauss conference [mailto:public@opengauss.org] 发送时间: 2023年2月20日 10:28 收件人: tools(a)opengauss.org 主题: [Tools] openGauss tools sig例会时间: 2023年2月21日星期二 10:00-12:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 您好！ openGauss Tools SIG 邀请您参加 2023-02-21 10:00 召开的Zoom会议(自动录制) 会议主题：openGauss tools sig例会会议内容：议题申报： 1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）会议链接：https://us06web.zoom.us/j/86900618861?pwd=SUFGTmJpQnM2SHAyZVBjZGllcldiZz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the Zoom conference(auto recording) will be held at 2023-02-21 10:00, The subject of the conference is openGauss tools sig例会, Summary: 议题申报： 1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣） You can join the meeting at https://us06web.zoom.us/j/86900618861?pwd=SUFGTmJpQnM2SHAyZVBjZGllcldiZz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

openGauss tools sig例会
by openGauss conference 20 Feb '23

20 Feb '23

您好！ openGauss Tools SIG 邀请您参加 2023-02-21 10:00 召开的Zoom会议(自动录制) 会议主题：openGauss tools sig例会会议内容：议题申报： 1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）会议链接：https://us06web.zoom.us/j/86900618861?pwd=SUFGTmJpQnM2SHAyZVBjZGllcldiZz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the Zoom conference(auto recording) will be held at 2023-02-21 10:00, The subject of the conference is openGauss tools sig例会, Summary: 议题申报： 1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣） You can join the meeting at https://us06web.zoom.us/j/86900618861?pwd=SUFGTmJpQnM2SHAyZVBjZGllcldiZz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

【20220221】tools sig例会
by openGauss conference 20 Feb '23

20 Feb '23

您好！ openGauss Tools SIG 邀请您参加 2023-02-21 10:00 召开的WeLink会议(自动录制) 会议主题：【20220221】tools sig例会会议内容：议题申报： 1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣）会议链接：https://bmeeting.huaweicloud.com:36443/#/j/961305066 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the WeLink conference(auto recording) will be held at 2023-02-21 10:00, The subject of the conference is 【20220221】tools sig例会, Summary: 议题申报： 1. 【迁移工具】MySQL迁移工具适配内核兼容性设计方案评审（窦欣） You can join the meeting at https://bmeeting.huaweicloud.com:36443/#/j/961305066. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

【会议纪要】 tools sig组例会-2月7日
by douxin (A) 11 Feb '23

11 Feb '23

会议议题申报及结论请参见https://etherpad.opengauss.org/p/Tools-meetings 2023-2-7 议题申报： 1.dblink支持通过odbc链接异构数据库设计方案评审（陈志凯） 2.portal对接datakit详细方案评审（刘桐） 3.支持XML类型设计方案评审（刘恒） 4.ODBC windows版本发布设计方案评审（刘恒） 5.JDBC高可用优化需求设计方案评审（陈紫阳） 6.JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪） 7. CM支持容器化部署设计方案评审（张旭博） 8.Debezium全量迁移支持对mysql对象的迁移（彭思）会议结论： - 议题1：dblink支持通过odbc链接异构数据库设计方案评审（陈志凯）评审结论：不通过评审意见： 1. 更换为社区模板重新撰写 2. 完善细节，增加dblink系列函数用法等 3. 增加新接口，查询所有可用的odbc源 4. 修改消息序列图 5. 考虑数据类型等问题 - 议题2：portal对接datakit详细方案评审（刘桐）评审结论：通过评审意见： 1. 关于迁移进度展示：迁移工具持续生成文件去存包括时间在内的迁移进度，portal每隔一段时间（可配置）去查询文件，全量迁移未结束时，连续三次时间戳不更新就挂，如果用户有查询需求，就从portal中查询缓存。 2. 为了兼容以后可能做的反向全量迁移，清理全量校验产生的临时表需要在反向迁移之前进行。 3. 日志是否打到屏上需要加一个参数。 4. 启动计划用一个进程，停止计划用一个进程，使用发送信号量的方式进行进程间通信，通过workspaceID去标识要操作的任务，portal挂掉也使用这种方法去重启。 5. 用户单独使用portal和使用datakit启动portal的逻辑是一致的，不存在特殊场景。 6. 停止在线迁移时，首先在线迁移进程检测source和sink端是否数据已全部处理完，全部处理完后，停止在线迁移。增量迁移结束后，输出lsn，反向迁移开始时，校验lsn。 - 议题3：支持XML类型设计方案评审（刘恒）评审结论：通过评审意见： 1. 补充了一些测试场景，验证升级和回退是否支持xml； 2. 连接jdbc, odbc，Data Studio是否支持xml； - 议题4：ODBC windows版本发布设计方案评审（刘恒）评审结论：通过评审意见： 1. 补充了一些测试场景：验证多ip连接，当主机宕机后，备机是否可以正常使用； 2. 验证omp连接； - 议题5：JDBC高可用优化需求设计方案评审（陈紫阳）评审结论：通过评审意见： 1. 原有功能，缓存复用问题 2. 定时任务间隔时间能否可配置 - 议题6：JDBC实现集群状态发生变化后，快速实现负载均衡效果方案设计评审（周聪) 评议结论：通过评审意见： 1. 开发完成后需要测试探活的代价。 2. 开发完成后进行与参数targetservertype的组合测试。 3. 有两个点需要与邮储对需求： a. 是否添加参数，控制快速负载均衡时关闭连接的数量 b. 是否修改快速负载均衡的触发时机，改为定时触发 - 议题7： CM支持容器化部署设计方案评审（张旭博）评审结论：通过评审意见： 1. 添加约束-容器需要带上操作系统的shell这一层 2. 优先使用容器自身的参数-D来保证容器自身不退出 - 议题8：Debezium全量迁移支持对mysql对象的迁移（彭思）评审结论：通过评审意见： 1. 启动全量迁移时，增加配置文件的参数，即决定迁数据或对象 2. sink端：对象串行执行时，考虑依赖的问题，同时对象迁移考虑并发的情况，并行度通过模型计算或者给定min, max，提供自适应能力，抽取为公共能力 3. 迁移报错时，提供报错的列表，根据错误信息判断错误原因：（1）对象不存在，需重试，并设置最大重试次数；（2）语法不兼容，跳过，并记录错误信息。 4. 当部分表没有迁移时，要进行清理等，增加配置参数 5. 集成sql-translator项目时，考虑转与透传的三种情况，增加一个配置项，包含三种情形：（1）透传（2）转换（3）先透传再转换 6. 对象的校验，用户迁移自定义转换 7. 增加sever、event，自定义函数、表空间tablespace这些对象的迁移 8. 梳理变色龙全量迁移的控制参数，是否可在debezium中增加相关设置 9. 迁移对象时不用锁实例，一方面迁移时DDL操作在实际业务中往往受限，同时在对象校验时可作为补救，暂不需锁整个实例导致业务受阻 10 迁移对象的顺序：（1）迁移表（可串行）-> (2) 迁移对象（需考虑并行）-> (3) 迁移数据（按表并行） ->(4) 迁移索引和外键 Thanks & Best regards！窦欣 (Dou Xin) E-mail: douxin5(a)huawei.com Department: openGauss Program -----原始约会----- 发件人: openGauss conference [mailto:public@opengauss.org] 发送时间: 2023年2月3日 9:22 收件人: tools(a)opengauss.org 主题: [Tools] tools sig组例会时间: 2023年2月7日星期二 10:00-12:00(UTC+08:00) 北京，重庆，香港特别行政区，乌鲁木齐。地点: 您好！ openGauss Tools SIG 邀请您参加 2023-02-07 10:00 召开的Zoom会议(自动录制) 会议主题：tools sig组例会会议链接：https://us06web.zoom.us/j/88082901040?pwd=R2JXcXZqeWxzVGJ6U0NPYisxeS9hdz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the Zoom conference(auto recording) will be held at 2023-02-07 10:00, The subject of the conference is tools sig组例会, You can join the meeting at https://us06web.zoom.us/j/88082901040?pwd=R2JXcXZqeWxzVGJ6U0NPYisxeS9hdz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

tools sig组例会
by openGauss conference 08 Feb '23

08 Feb '23

您好！ openGauss Tools SIG 邀请您参加 2023-02-09 14:30 召开的Zoom会议会议主题：tools sig组例会会议链接：https://us06web.zoom.us/j/89802461856?pwd=M09qWk9HU0Q1VURxdUtJY05pdWZpdz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the Zoom conference will be held at 2023-02-09 14:30, The subject of the conference is tools sig组例会, You can join the meeting at https://us06web.zoom.us/j/89802461856?pwd=M09qWk9HU0Q1VURxdUtJY05pdWZpdz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

tools sig组例会
by openGauss conference 08 Feb '23

08 Feb '23

您好！ openGauss Tools SIG 邀请您参加 2023-02-08 14:30 召开的Zoom会议(自动录制) 会议主题：tools sig组例会会议链接：https://us06web.zoom.us/j/87534947785?pwd=RHprMTk2OG43VjZTaGxsUDUyQXhvZz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the Zoom conference(auto recording) will be held at 2023-02-08 14:30, The subject of the conference is tools sig组例会, You can join the meeting at https://us06web.zoom.us/j/87534947785?pwd=RHprMTk2OG43VjZTaGxsUDUyQXhvZz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

tools sig例会
by openGauss conference 08 Feb '23

08 Feb '23

您好！ openGauss Tools SIG 邀请您参加 2023-02-08 11:30 召开的Zoom会议(自动录制) 会议主题：tools sig例会会议链接：https://us06web.zoom.us/j/85717342675?pwd=RUpiaVRxZW1PaDAvS1BiSDNyRzhlQT09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the Zoom conference(auto recording) will be held at 2023-02-08 11:30, The subject of the conference is tools sig例会, You can join the meeting at https://us06web.zoom.us/j/85717342675?pwd=RUpiaVRxZW1PaDAvS1BiSDNyRzhlQT09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0

tools sig组例会
by openGauss conference 03 Feb '23

03 Feb '23

您好！ openGauss Tools SIG 邀请您参加 2023-02-07 10:00 召开的Zoom会议(自动录制) 会议主题：tools sig组例会会议链接：https://us06web.zoom.us/j/88082901040?pwd=R2JXcXZqeWxzVGJ6U0NPYisxeS9hdz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Tools-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Tools SIG invites you to attend the Zoom conference(auto recording) will be held at 2023-02-07 10:00, The subject of the conference is tools sig组例会, You can join the meeting at https://us06web.zoom.us/j/88082901040?pwd=R2JXcXZqeWxzVGJ6U0NPYisxeS9hdz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Tools-meetings More information: https://opengauss.org/en/

1 0