Community September 2021

community@opengauss.org

3 participants
1 discussions

[暑假2021参赛记] 在Spark on openGauss实现过程中的感想与收获
by 耳朵 30 Sep '21

30 Sep '21

大家好! 我是一名参加openGauss社区Summer 2021 活动的学生，耳朵。我参与的题目是“openGauss支持Spark对接”。我把在参与活动中收获的部分操作经验写成了一篇博客，博客以附件形式上传。博客中介绍的是通过spark datasource接口通过JDBC读取openGauss，让spark可以操作openGauss中的数据。我想介绍一下我在参加活动中的一些感想与所做的一点贡献。暑期 2021 的一些感想其实我在暑假期间同时参加了 openGauss 社区的任务打榜赛，即根据个人的issue和 PR 数量排名。在参加这两个项目的过程中，社区的工作人员都是非常和善的，我碰到的问题也能及时的得到回应和解决，提交的PR也会及时被Review。在参加打榜赛的时候，我发现了一些规则上不完善的问题，反馈之后工作人员也及时更新了规则。现在openGauss-server仓库是非常活跃的，反映的问题也能及时得到解决。在开发的同时，openGauss 的功能也在逐渐完善，比如之前 openGauss 是不能直接使用 LOAD 命令加载共享库，需要修改源码重新编译，到现在官方博客已经放出了一些如何移植插件、增加算子的教程。可以看到社区新的仓库在逐渐增加，同时周边仓库的活跃度也在上升。现在我比较期望openGauss能及时跟上PG单个查询中并行执行的特性（个人催更）。参与暑期2021也让我对开源技术有了更深的理解。Git 推动了开源文化的发展并改善了开发者的工作模式，但是除了技术之外，社区参与者的积极性与负责程度决定了开源社区的氛围。导师与社区中帮助我的人让我认识到开源文化中，人是最重要的组成部分。作为一名个人开发者，热情和积极是很重要的动力，在开源社区中所付出的东西都有额外收获。比如，参与开源可以收获很多东西，包括但不限于：提升专业技能、遇见对你有帮助的大牛、提高语言和组织能力清晰的描述问题与解决方案、积累个人声望提高存在感。在这个过程中，我确实在这几个方面得到了提高。感谢社区给机会：）参加过程中的一些贡献作为学生，开学后也需要平衡时间来参加暑期2021。在这个过程中，我对 Spark 对接 openGauss 的流程做了验证。在整个流程的验证中发现了一些问题，也在社区提交了 Issue 和 PR 进行解决，例如： openGauss-connector-jdbc jar构建与使用指引(中文版已合入，英文版正在合入)：https://gitee.com/opengauss/openGauss-connector-… ，https://gitee.com/opengauss/openGauss-connector-jdbc/pulls/50 通过完成openGauss-connector-jdbc的文档，指引用户获取、编译、使用openGauss JDBC，推动openGauss-connector-jdbc仓库的@justbk 老哥将 jdbc 上传至中央仓库。 Spark将openGauss作为数据源的完整示例（正在合入）：https://gitee.com/opengauss/examples/pulls/… datasource 连接openGauss，该PR还在review中，欢迎大家在PR中留言提出建议。 DataSourceV2如何基于JDBC实现的博客（即附件中的内容，将于国庆后发在公众号中）。如果参与openGauss文档的修改也能算贡献的话，我还参加了openGauss任务打榜赛，拿了第四名... 已合并的PR：链接祝好，耳朵

3 2

2024

2023

2022

2021

2020

Community September 2021