- Plugin - mailweb.opengauss.org

8.13 openGauss TC例会
by openGauss conference 12 Aug '21

12 Aug '21

1 0

会议纪要 //RE: Plugin SIG例会
by Huangkaiyao(Kaiyao,Kunpeng Computing) 11 Aug '21

11 Aug '21

与会人员：苏章艳、陈晓滨、李传成、彭炯、吴岳川、黄凯耀时间：2021-08-11 16:00 – 18:00 会议纪要：议题一：插件点列表讨论 (苏章艳) 1. 苏章艳结合插件化架构，讲解语法特性插件化案例，并梳理现有插件化架构的不足： a) 数据字典问题 b) 数据结构、枚举变量的修改 c) 钩子粒度太大 d) 备份/恢复 2. 会议上对以上四个问题分别进行了讨论。 a) 数据字典问题，进一步研究内核中增加一个系统视图的方法 b) 数据结构的修改，考虑基于变量钩子的方案 c) 钩子粒度太大，考虑语义插件的方法，细化钩子范围 d) 备份/恢复，涉及到导出工具感知对插件修改语法的感知，全核一盘棋，要统筹修改议题二：算子插件分享 1. 陈晓滨分享了openGauss中的算子种类及汇总表、PG14所新增的算子，并开发了把PG14新增算子tidrangescan插件化，并迁移到openGauss的方案。 2. 会议建议晓滨提交PR，让SIG 组感兴趣的同学可以进行review，并到TC例会上进行评审。 3. 会议认为把新版本PG迁移到openGauss中是非常有价值的，晓滨可进一步考虑写作一篇文档，指导社区如何迁移。 4. 之前晓滨写过如何把contrib目录下的插件移植到openGauss的文章，建议继续完善，指导社区如何迁移。 5. 众智项目中有插件迁移的相关课题，要把众智涉及到的相关伙伴也加入到SIG组中，参与相关插件迁移讨论。议题三：插件管理机制讨论 1、李传成分享了当前openGauss内核三种加载插件的方式， a) GUC加载： PostmasterMain() / GaussDbThreadMain() -> process_shared_preload_libraries()->load_libraries()->load_file()->internal_load_library()->pg_dlsym() –> _PG_init b) 执行加载：internal_load_library() c) 内核代码绕过internal_load_library直接修改hook i. pgaudit_agent_init(); ii. auto_explain_init(); 2、李传成梳理了当前内核管理机制的3个待解决问题 a) 内核代码绕过internal_load_library直接修改hook，导致某些插件（如Citus）加载失败 b) PG的RegisterDynamicBackgroundWorker()提供了在插件中开启多个具有backend属性线程的能力，能否借鉴过来 c) 修改shared_preload_libraries参数实现插件的禁用或启用，需要重启数据库，能否实现动态禁用、启用、排序插件的方法 -------------------------------------------------- 黄凯耀 Huang Kaiyao Mobile: +86-18664933229<tel:+86-18664933229> Email: huangkaiyao(a)huawei.com<mailto:huangkaiyao@huawei.com> From: openGauss conference [mailto:public@opengauss.org] Sent: Monday, August 9, 2021 4:48 PM To: plugin(a)opengauss.org Subject: [Plugin] Plugin SIG例会您好！ openGauss Plugin SIG 邀请您参加 2021-08-11 16:00 召开的ZOOM会议会议主题：Plugin SIG例会会议内容：议题一：插件点列表讨论苏章艳已经反馈了一版，请其他小伙伴尽快反馈一下。请章艳来引导一下。议题二：算子插件分享陈晓滨分享openGauss算子插件化的方案。请晓滨引导一下。议题三：插件管理机制讨论李传成提到了插件管理的两个需求，大家一起系统讨论下插件管理机制。请传成引导一下。会议链接：https://zoom.us/j/96849774699?pwd=aFNaMWNSNXIxdTVqN0tLekRuUmZBdz09 温馨提醒：建议接入会议后修改参会人的姓名，也可以使用您在gitee.com的ID 提前申报议题请编辑：https://etherpad.opengauss.org/p/Plugin-meetings 更多资讯尽在：https://opengauss.org/zh/ Hello! openGauss Plugin SIG invites you to attend the ZOOM conference will be held at 2021-08-11 16:00, The subject of the conference is Plugin SIG例会, Summary: 议题一：插件点列表讨论苏章艳已经反馈了一版，请其他小伙伴尽快反馈一下。请章艳来引导一下。议题二：算子插件分享陈晓滨分享openGauss算子插件化的方案。请晓滨引导一下。议题三：插件管理机制讨论李传成提到了插件管理的两个需求，大家一起系统讨论下插件管理机制。请传成引导一下。 You can join the meeting at https://zoom.us/j/96849774699?pwd=aFNaMWNSNXIxdTVqN0tLekRuUmZBdz09. Note: You are advised to change the participant name after joining the conference or use your ID at gitee.com. Add topics: https://etherpad.opengauss.org/p/Plugin-meetings More information<https://opengauss.org/en/>

1 0

【0811例会】算子插件化文档
by chenxiaobin (F) 11 Aug '21

11 Aug '21

大家好！附件是我下午SIG例会将介绍的算子插件化方案，各位老师可以先提前看下，欢迎多多指正。 -------------------------------------------------- 陈晓滨 Email: chenxiaobin19(a)huawei.com<mailto:chenxiaobin19@huawei.com>

1 0

Plugin SIG例会
by openGauss conference 09 Aug '21

09 Aug '21

1 0

本周三8/11下午SIG组例会预通知
by Huangkaiyao(Kaiyao,Kunpeng Computing) 09 Aug '21

09 Aug '21

��ʱ�� 16:00 �C 17:30�� һ��б�� Ѿ��һ�棬��С��龡�췴��һ�¡��һ�¡� ��Ӳ�� openGauss��Ӳ��ķ��һ�¡� �� ��ᵽ�˲��󣬴��һ��ϵͳ��²��ơ��봫��һ�¡� ��󷢳�� -------------------------------------------------- �ƿ�ҫ Huang Kaiyao Mobile: +86-18664933229<tel:+86-18664933229> Email: huangkaiyao(a)huawei.com<mailto:huangkaiyao@huawei.com>

1 0

openGauss插件点需求列表
by chuancheng.li＠enmotech.com 05 Aug '21

05 Aug '21

3 2

Re: openGauss插件点需求列表
by Huangkaiyao(Kaiyao,Kunpeng Computing) 05 Aug '21

05 Aug '21

��һ��һ�� һ��뷨�ǣ��һ��ǰ��ǣ��ں��ģ��ĺ��Ҫ�Ƚ��Ϥ��Ҫ��һ��ں�һЩ�ؼ�ģ��ĺ��ù�ϵ�� һ��飬��԰��ά��󡣱��磬��п��Կ��upsert�漰��makeXXX_hook��subquery_planner_hook��With function�漰��transformXXX_hook��stardard_planner_hook��ܷ�ش�һ��⣬Ϊ��һ��µĹؼ��֡�һ��µĲ��Ҫ��չ��Щ��㣿Ȼ��Щ��һ��ṹ��У��ͳ�Ϊ��ϴ��۵�һ��ӿ��ࡣ ��⣬��ǳ��һ��﷨��ǰ��Ҳʶ��һ��ӵ��󣬿��ٿ��ʵ��л��Щ��Ҫ�γ��Լ��Ľӿ��ࣿ -------------------------------------------------- �ƿ�ҫ Huang Kaiyao Mobile: +86-18664933229<tel:+86-18664933229> Email: huangkaiyao(a)huawei.com<mailto:huangkaiyao@huawei.com> From: suzy(a)vastdata.com.cn [mailto:suzy@vastdata.com.cn] Sent: Wednesday, August 4, 2021 6:57 PM To: plugin(a)opengauss.org Subject: [Plugin] openGauss��б� ��Һã� ��Ĳ��б��ա� ��ֹ��漰��ģ��϶࣬�Բ��ʽ��ʵ�֣��ʱû��б��֧�ֶ�� ________________________________ Thanks & Best Regards �� רע��ݿ� �D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D ��˾��ݼ��ɷ��޹�˾ ��ݿ��з�� ַ��·4�żѶ��Ƽ��2��¥3F301 �绰��020-85507893 �ֻ��17097228614 ��ַ��www.vastdata.com.cn<http://www.vastdata.com.cn/> Mail��suzy(a)vastdata.com.cn<mailto:suzy@vastdata.com.cn> �D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D

1 0

openGauss插件点需求列表
by suzy＠vastdata.com.cn 04 Aug '21

04 Aug '21

��Һã� ��Ĳ��б��ա� ��ֹ��漰��ģ��϶࣬�Բ��ʽ��ʵ�֣��ʱû��б��֧�ֶ�� Thanks & Best Regards �� רע��ݿ� �D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D ��˾��ݼ��ɷ��޹�˾ ��ݿ��з�� ַ��·4�żѶ��Ƽ��2��¥3F301 �绰��020-85507893 �ֻ��17097228614 ��ַ��www.vastdata.com.cn Mail��suzy(a)vastdata.com.cn �D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D�D

1 0

openGauss Plugin SIG例会会议纪要(0728)
by Huangkaiyao(Kaiyao,Kunpeng Computing) 28 Jul '21

28 Jul '21

大家好，今天是Plugin SIG组的第一次例会，参会的同学：黄凯耀、吴岳川、苏梓鑫、彭炯、陈晓滨、张乐奕、李传成、苏章艳、阮青松。感谢大家参加这次会议。会议纪要： 1. 黄凯耀首先介绍了Android 8.0引入的Treble架构，它解决了Android版本升级复杂，需要谷歌、芯片厂商、手机厂商分别修改代码集成发布，导致厂商无法跟上Android版本节奏，Android碎片化严重的问题。 [cid:image005.jpg@01D783FF.68EE8440] 2. 黄凯耀介绍了插件化架构的总体思路和插件初步工作规划，主要包括插件规划、插件管理、插件实现和插件移植。 3. 讨论了插件架构的原则：只封装变化的代码。插件架构的设计模式：门面（Façade）模式。通过门面模式实现对众多hook的归类。 [https://box.kancloud.cn/2016-04-20_57175853a499f.jpg] https://www.kancloud.cn/digest/xing-designpattern/143728 4. 黄凯耀介绍了Parser插件的设计和使用方法。苏章艳提出了一个问题，当前Parser参数是会话级别的，但对于某些数据类型，如DATE，Oracle和PG的定义可能不同，如果定义时采用PG语法，查询时采用Oracle语法，查询结果可能出错。 5. 彭炯介绍了语义插件当前的设计思路。大家初步认可语义插件当前细化的9个语义分析函数指针，以及相应的语义分析接口结构体。这是对Façade模式的一个应用。苏章艳建议针对SelectStmt做进一步的插件点定义。 6. 陈晓滨介绍了PG插件移植指导和会话参数改造方案，主要回答了PG的进程化变量如何迁移到openGauss的线程架构上的问题。 a) 苏章艳提到当前FDW插件在u_sess的定义问题，后面FDW的要基于晓滨的框架进行整改，进行归一化 7. 会议主要形成如下结论： a) 苏章艳提到的一些插件点的top需求 i. 认为SQL语法分析和SQL语义分析是高频修改的地方，希望进一步细化定义插件点。（上述第5点是一个有益的尝试） ii. pl/pgsql本身就是一个插件，但需要对这个插件内部进一步进行插件点的定义，比如统计每行语句的执行时间、调试统计功能等 iii. 存储层的加密和解密接口 b) 阮青松提到插件化机制的一些要考虑的风险 i. 如何解决插件与插件之间、插件与内核之间可能存在的冲突，如何建立插件化依赖机制，实现插件本身的版本和演进管理 ii. 如何进行插件的测试，如何通过兼容性测试套件保证插件的兼容性 iii. 插件的相关参数的范围，是否有相应的指导原则 c) 张乐奕提到了contrib目录下的原有插件是否会受到插件机制的影响。本质上，插件架构是继承兼容于PG原生的extension机制，但提供了更加友好的SDK，使得后面新开发的插件变得更加容易。 i. 另外，contrib目录下的移植，可基于当前晓滨的工作开展（上述第6点） d) 李传成提到了一些插件开发的问题： i. 当前插件的回归测试无法执行报错，需要修复 ii. 当前无法drop一个外来的插件，涉及到插件白名单机制，需要修复 iii. 按需反馈单个hook的时效性比较差，要考虑开始时的的系统规划，形成一个结构化的体系后，再逐步完善。 8. 下一步工作安排： a) 请苏章艳、阮青松、李传成在下周三（8/4）之前，反馈一稿插件点列表，可基于当前对openGauss内核所做的修改(diff opengauss mydatabase)，抽象出相应的插件点出来，请尽可能细化，不怕多，只怕不全。（参见7-d-iii） b) 请大家踊跃在plugin@opengauss.org邮件列表中新开话题和讨论（给plugin@opengauss.org发邮件即可），与插件化架构的任何话题讨论都可以，比如Android的兼容性实现分析、PG生态插件的问题等等。 c) 初定下次例会召开时间是8/11。 9. 如有遗漏，请大家回复补充。 -------------------------------------------------- 黄凯耀 Huang Kaiyao Mobile: +86-18664933229<tel:+86-18664933229> Email: huangkaiyao(a)huawei.com<mailto:huangkaiyao@huawei.com>

1 0

test
by Huangkaiyao(Kaiyao,Kunpeng Computing) 28 Jul '21

28 Jul '21

plugin(a)opengauss.org

2 2

2024

2023

2022

2021

Plugin