Apache Spark社区让openEuler与外部开源社区更好的连接、融合

2022年10月初,openEuler Maintainer 姜逸坤接受Apache Spark PMC邀请,正式成为Apache Spark Committer(核心贡献者)。

他的主要贡献是Apache Spark在基础设施、云原生、PySpark等方向的改进。

开源之路,从懵懂到深入

姜逸坤2016年加入华为计算开源团队,先后成为OpenStack社区 (OpenInfra基金会) Core Member、openEuler社区 (开放原子开源基金会) Maintainer、Volcano社区 (CNCF基金会) Reviewer、Spark社区 (Apache基金会) Committer,横跨多个顶级开源社区的经历让他快速完成知识积累和个人成长,而他对于技术和开源的热爱始终如一。

从多样性算力支持

到Apache Spark核心贡献者

openEuler 作为最优支持多样性算力的原生操作系统,支持x86、ARM、RISC-V、LoongArch、SW64 等多种处理器架构,而开源社区的应用软件多架构支持最初并不完善,应用软件的短板使得openEuler社区用户无法充分、便利地发挥多样性算力的最大价值。

早在2019年,逸坤所在团队就开始了开源社区的多架构支持工作,在Apache Spark社区,他与团队成员和Spark社区协作共同完成了ARM64架构的适配,并且在Apache Spark 3.0.0版本正式支持ARM64架构(SPARK-30057),为Spark社区添加了 ARM CI 确保Spark在ARM64平台持续可用(SPARK-29106)。

随着在Spark社区贡献的逐步深入,他所做的工作从最初的多样性算力适配,慢慢地变为多样性算力架构级的增强。2021年11月,逸坤作为第一作者,联合华为、Apple、Netflix、Cloudera等开发者在Spark社区共同完成特性的设计和代码开发——《Spark-36057: 支持Spark on Kubernetes自定义调度功能》,并以Apache Spark + Volcano调度系统作为参考实现合入到社区,最终在Apache Spark 3.3.0版本作为亮点特性发布,增强了Spark多样性算力调度能力。随后,openEuler社区中的众多大数据用户(如华为、亚信、中国系统等),开始集成该方案到其下游的产品和服务中,以增强队列调度、资源预留、多样性算力调度的能力。“Upstream first”,并积极推动下游开源用户使用,是他一直坚持的理念。

近期,他在Apache Spark社区发起了一个新的提案——《SPARK-40513: 为Spark提供Docker官方镜像支持》,这个提案为Apache Spark社区提供官方容器镜像规范、标准及参考实现,并发布镜像,目前已获得Spark社区全票通过。这为后续诸如openEuler等操作系统更高效、更高质量地完成定制Spark大数据应用镜像奠定了基础。

同时,逸坤通过他在云计算、云原生、基础设施、ARM CI等领域的积累,为Apache Spark社区的基础设施稳定和优化付出了很多努力。最终,顺利获得了Apache Spark社区的认可,成为Apache Spark Committer。

让openEuler与外部开源社区

更好的连接、融合

Apache Spark社区的贡献仅仅是一个缩影,逸坤和他所在的团队持续活跃在openEuler社区的大数据、OpenStack、云原生、HPC、基础设施等SIG组,努力将openEuler社区连接并融入到更广阔的开源世界。也欢迎更多的人加入进来,让openEuler社区与外部开源社区更好融合,产生更多伟大的合作与创新!

审核编辑:彭静

京云律所-东台站 京云律所-兴安站 京云律所-龙岩站 京云律所-原平站 京云律所-泉州站 京云律所-五常站 京云律所-冷水江站 京云律所-怀化站 京云律所-牡丹江站 京云律所-赣州站 京云律所-海东站 京云律所-深圳站 京云律所-黔西南布依族站 京云律所-唐山站 京云律所-海宁站 京云律所-辛集站 京云律所-临江站 京云律所-林芝站 京云律所-霍林郭勒站 京云律所-射洪站 京云律所-高碑店站 京云律所-阿坝站 京云律所-恩施站 京云律所-开原站 京云律所-阆中站 京云律所-临清站 京云律所-瑞昌站 京云律所-康定站 京云律所-平度站 京云律所-龙港站 京云律所-临沂站 京云律所-阿图什站 京云律所-宁德站 京云律所-柳州站 京云律所-宜城站 京云律所-邛崃站 京云律所-临夏站 京云律所-雷州站 京云律所-龙南站 京云律所-永安站 京云律所-安陆站 京云律所-孝义站 京云律所-石狮站 京云律所-乌兰察布站 京云律所-吉首站 京云律所-克孜勒苏站 京云律所-津市站 京云律所-文山壮族站 京云律所-台山站 京云律所-永城站 京云律所-新密站 京云律所-贵港站 京云律所-青州站 京云律所-乌苏站 京云律所-连云港站 京云律所-高邮站 京云律所-卫辉站 京云律所-绥化站 京云律所-扬州站 京云律所-营口站 京云律所-呼和浩特站 京云律所-清远站 京云律所-凤城站 京云律所-崇左站 京云律所-资兴站 京云律所-太仓站 京云律所-荆州站 京云律所-肥城站 京云律所-池州站 京云律所-鹰潭站 京云律所-晋城站 京云律所-随州站 京云律所-虎林站 京云律所-玉树站 京云律所-邯郸站 京云律所-广德站 京云律所-济南站 京云律所-长治站 京云律所-广安站 京云律所-武夷山站 京云律所-淄博站 京云律所-任丘站 京云律所-大同站 京云律所-丹江口站 京云律所-沙河站 京云律所-黄南站 京云律所-新泰站 京云律所-张家口站 京云律所-平果站 京云律所-绥芬河站 京云律所-利川站 京云律所-湘潭站 京云律所-错那站 京云律所-英德站 京云律所-敦化站 京云律所-武穴站 京云律所-驻马店站 京云律所-简阳站 京云律所-嫩江站 京云律所-湖州站

免责声明:文章内容来自互联网,本站仅提供信息存储空间服务,真实性请自行鉴别,本站不承担任何责任,如有侵权等情况,请与本站联系删除。

(0)
基于碳化硅系统支持的趋势
上一篇 2023-04-21 11:59:42
下一篇 2023-04-21 12:06:27

联系我们

在线咨询: QQ交谈

邮件:362039258#qq.com(把#换成@)

工作时间:周一至周五,10:30-16:30,节假日休息。