18910140161

中间件 apache:官方公告:计算中间件Apache Linkis正式毕业 成为Apache的顶级项目

顺晟科技

2023-02-23 11:09:05

93

2022年12月3日,Apache软件基金会(ASF)孵化器通过了Apache Linkis计算中间件项目的孵化毕业投票。2023年1月18日,Apache软件基金会正式宣布Apache Linkis顺利毕业,成为Apache (TLP)的顶级项目。

bVc6aoJ

以上截图来自Apache官网。

原文链接:https://news.apache.org/found.

1.关于Apache LinkisApache Linkis计算中间件项目,2019年7月由微众银行大数据平台团队开放,2021年8月正式捐赠给全球顶级开源社区Apache Software Foundation (ASF),成为ASF孵化项目,2022年12月3日通过孵化毕业投票。

Apache Linkis在上层应用程序和下层引擎之间构建了一个计算中间件层。通过使用Linkis提供的REST/JDBC/Shell等标准接口,上层应用可以方便地访问MySQL/Spark/Hive/Trino/Flink等下层引擎,同时实现变量、脚本、函数、资源文件等用户资源的互操作,通过REST的标准接口提供数据源管理和数据源对应的元数据查询服务。作为一个计算中间件,Linkis提供了强大的连接、重用、排列、扩展和治理控制能力。应用层和引擎层通过计算中间件解耦,简化了复杂的网络调用关系,降低了整体的复杂度,节省了整体的开发和维护成本。

bVc6aoQ

bVc6aoR

开源以来,开源社区用户总数超过7600人,沙盒试用企业超过2600家,收到110多家已投产企业的反馈。生产环境支撑的数据已经超过400PB,生产服务的用户超过5000人,涉及金融、电信、制造、互联网等多个行业。许多公司已经使用Linkis来解决大数据平台的连接、扩展、管理和控制以及安排等计算治理问题。

在一年多的孵化期内,Apache Linkis发布了7个由社区开发者主导的Apache版本,平均每两个月就会发布一个版本。增加了4名PPMC成员和13名委员,他们来自不同的公司和团队,共有127名贡献者。Apache Linkis社区各项指标发展良好,项目已经成熟。Apache Linkis顺利通过ASF孵化器项目管理委员会的毕业评审和投票,并得到ASF董事会的批准,毕业后晋升为Apache基金会的顶级项目。

二、Apache Linkis的核心功能点及路线图通过使用Linkis,批处理系统等上层应用工具可以使用Linkis作为统一网关或JobServer提交批处理任务;数据分析工具可以利用Linkis的交互式任务,实时获取日志、结果集、进度信息和其他能力。与Linkis集成的工具可以互连,不同的工具可以使用相同的定义的UDF、数据源、材料等。

与Linkis连接的上层应用工具可具有以下核心特征:

对底层计算存储引擎的丰富支持:Spark、Hive、Flink、Python、Sqoop、OpenLooKeng、Presto、Trino、ElasticSearch、JDBC、SeaTunnel和Shell等丰富的语言支持:SparkSQL、HiveQL、Python、Shell、Pyspark、Scala、JSON和JAVA等。强大的计算治理能力:可提供基于多级标签的任务路由、负载均衡、多租户、流量控制、资源控制等能力;全栈计算存储引擎架构支持:可以接收、执行和管理各种计算存储引擎的任务和请求,包括离线批处理任务、交互查询任务、实时流任务和数据湖任务;统一上下文服务:支持跨用户和系统资源文件(JAR、ZIP、Properties等。)与管理用户和系统、结果集、参数变量、函数、UDF等相关联。可以一处设置,处处自动引用;统一素材:提供系统级和用户级素材管理,可共享可流转,跨用户跨系统共享;统一数据源管理:提供Hive、ElasticSearch、Mysql、Kafka、MongoDB等多种类型数据源的信息添加、删除、检查、修改,以及相应数据源的版本控制、连接测试、元数据信息查询等功能;错误码能力:提供任务中常见错误的错误码和解决方案,方便用户自行定位问题;从孵化器毕业也证明了Linkis项目和社区的进一步成熟,但要成为世界级的计算中间件项目还有很多事情要做。Linkis社区整理了路线图,欢迎大家参与并投稿。一些主要特征如下:

bVc6apa

第三,Apache Linkis生态Linkis作为计算中间件,也积极推动项目与多个开源社区的融合,丰富Linkis的生态。下图是一些已经与Linkis集成的开源项目,涵盖了数据分析、工作流、数据交换、数据质量、机器学习、常用的计算和存储引擎。上层应用工具通过Linkis提交和管理各个引擎的任务,并将Linkis作为开发基础。大大减少了上层应用工具在连接、扩展、管理和控制方面的开发工作量,使上层应用工具只需专注于自身的功能需求。

bVc6apb

未来,我们将进一步引导和推动更多上层工具系统和下层引擎与Linkis融合,丰富Linkis的生态。欢迎越来越多的项目参与进来。

四、毕业寄语(按字母顺序排列)祝贺Apache Linkis顺利毕业!一路走来,我见证了Linkis社区的发展壮大,在开源大数据领域的影响力也越来越大。希望Apache Linkis未来发展越来越好,成为更有影响力的世界级开源项目!

——堵俊平

Apache Linkis ChampionApache

软件基金会成员

开放原子开源基金会TOC主席

Linkis社区发展得非常繁荣。恭喜Linkis成功从Apache孵化器毕业成为顶级项目。作为大数据领域优秀的计算中间件,Linkis使用户可以通过REST/JDBC等标准接口更方便地访问Spark、Flink等底层引擎。毕业是新旅程的开始。希望Linkis能发展的更好!

——代立冬

Apache Linkis MentorApache

软件基金会成员

阿帕奇海豚调度PMC主席

感谢社区每一位成员的热情和贡献!通过‘阿帕奇方式’的不断实践,我们已经形成了一个多元的、有序的、充满活力的社区,能够促进项目的不断演进。毕业只是新旅程的开始。期待与大家一起,继续提升Linkis在连接、管控、整理、复用等数据平台的计算治理能力,让大数据变得更简单。

——迪帅

阿帕奇林基斯PMC椅子

微众银行大数据平台负责人

恭喜Apache Linkis从ASF孵化器毕业,成为Apache顶级项目。作为一名Apache孵化器讲师,我很高兴看到Apache Linkis能够建立一个基于项目用户和开发者的健康发展的社区,并且很好地实践了Apache Way。祝愿Apache Linkis茁壮成长,与其他Apache大数据项目一起,创造一个更加繁荣的开源大数据技术生态系统。

——姜宁

Apache软件基金会主任

阿帕奇服务椅

很高兴看到Linkis这个从小众起家的计算中间件,能够通过开源,在Apache Way的指导下,在社区伙伴的共同培育下,快速成长,进入各行各业,服务千家企业,成功毕业成为Apache的顶级项目。预计Linkis将继续蓬勃发展,在大数据开源领域发挥更大作用。我们也期待更多社区伙伴的参与,更多优秀开源项目的出现,继续为基础软件开源的发展做出贡献。

——路道和

微众银行基础科技产品部负责人

恭喜Apache Linkis在2022年底源自中国的顶级Apache项目中又增加了一个强势选手(共20个项目)。愿Apache Linkis计算治理之旅顺利进行,包容性社区不断扩大!

刘天东——号

Apache软件基金会成员

开源协会的联合创始人

衷心祝贺Linkis成功从Apache孵化器毕业,成为Apache的顶级项目。计算中间件Apache Linkis作为微众银行牵头的优秀开源和捐赠项目,通过金融生产环境的不断打磨和社区各行业贡献者的共同建设和完善,已经成为解决大数据平台计算治理问题的利器。未来,微众银行将一如既往地支持开源社区的建设,帮助中国为全球基础软件的发展做出贡献。

——马

微众银行副行长兼首席信息官

作为Apache Linkis的重度用户,很高兴看到它从Apache毕业,在此表示衷心的祝福。2020年开始关注,并尝试在商业上使用。目前大部分底层业务已经迁移到Linkis进行管理。在这个过程中,我们得到了社区伙伴的大力支持,贡献了自己的力量。毕业不是结束,而是新的开始,还有很多工作等着我们去做。希望以后能和社区伙伴一起把Apache Linkis做得更强更完善。

聂磊——号

Apache Linkis贡献者

李大数据架构师

Apache Linkis是微众银行于2019年开启的大数据项目,并向Apache Software Foundation捐款。Linkis自开源以来,引起了业界的广泛关注。更重要的是,围绕Linkis项目形成的开发者社区非常活跃。目前,有23个项目管理委员会成员,33个代码提交者和超过127个贡献者。他们来自不同的地区和组织,自发地在项目中参与开发新功能、回答用户问题、修复bug和发布版本,表现出良好的多样性和可持续性。2022年12月,Linkis项目通过了Apache孵化器的项目成熟度评估和投票,作为另一个Apache顶级项目毕业。对于林基斯来说,毕业不是终点,而只是一个里程碑。2023年,希望Linkis社区继续秉承Apache Way的理念,以社区重于代码的精神吸引更多的用户和开发者,继续开发和拓展开源软件项目,使其最终惠及更多的企业和个人用户。

——石

Apache Linkis导师

Apache软件基金会成员

阿帕奇麒麟PMC椅

很高兴看到微众银行捐赠给阿帕奇开源软件基金会的Linkis项目毕业,成为阿帕奇基金会的顶级项目。这证明了项目发起人完全理解Apache基金会的社区重于代码的价值观,并长期遵循Apache社区的开放、透明和精英管理的规则。社区成熟度得到了Apache软件基金会孵化委员会的一致认可。恭喜Linkis项目和团队,为大数据技术生态提供了一个值得长期信赖的好项目。应用层和引擎层通过计算中间件解耦,使得上层大数据应用编程更加简单快捷。

谭——号

Apache软件基金会成员

中国开源促进联盟副秘书长

开放原子开源基金会TOC副主席

热烈庆祝Linkis从Apache孵化器毕业!Liniks是Hadoop和相关生态系统“数据库”的计算中间件,是一个非常有趣且有价值的项目。在此,衷心祝愿Apache LInkis项目和社区发展越来越好!

——王华雷

Apache Linkis贡献者

邮储银行数据管理部副总工程师

作为Linkis的用户和开发者,非常荣幸能够见证Linkis从开源,到Apache孵化,最后到毕业。真的很不容易,也见证了中国开源力量的崛起。随着越来越多小伙伴的贡献,Linkis也越来越规范和稳定。我们期待更多的小伙伴加入爱心Linkis社区,共同把社区建设得更好。

王晓刚——号

Apache Linkis PMC会员

天翼云大数据开发工程师

作为项目的导师,很高兴看到Apache Linkis顺利毕业,成为Apache的顶级项目。Apache Linkis社区非常活跃。在孵化期间,一直保持着双月发布的节奏,这在所有孵化项目中是非常少见的,说明项目的参与者是非常积极和认真的。祝Apache Linkis项目以后越来越好!

张铎——号

Apache Linkis MentorApache

软件基金会成员

阿帕奇HBase PMC椅

恭喜阿帕奇Linkis从阿帕奇毕业!2021年开始关注并尝试应用到一些业务中。目前,一些业务已经在Linkis上运行,我们现在正在进行其他业务的迁移工作。非常感谢您的耐心和帮助!成为顶层项目不是结束,而是开始。衷心希望Linkis未来发展更好,帮助更多的企业搭建大数据平台。

——华金

Apache Linkis PMC会员

广州银行信用卡中心高级需求分析师

作为Apache Linkis在生产环境下的第一批忠实用户和开发者,我很高兴见证了Linkis的一步步发展,也很荣幸能为社区贡献一点力量。祝Apache Linkis社区发展越来越好,为大数据这个平台贡献更多的价值。希望大家都能参与进来,把Linkis建设得更好!

朱晖——号

Apache Linkis PMC会员

BOSS直接聘用数据中心负责人。

恭喜Linkis经过16个月的孵化,成功从Apache孵化器毕业成为顶尖项目。在孵化过程中,Linkis社区一直遵循Apache的方式,采用开放、透明、包容的治理体系,建立了非常繁荣、多元化的开源社区。恭喜Linkis社区的所有贡献者和参与者,祝Linkis开源项目能越发展越好!

——钟延庆

微众银行开源管理处负责人

5.期待你的加入。从Apache孵化器毕业只是一个开始,成为真正顶级的开源项目也只是第一步。Linkis社区将继续实践Apache的开源文化,建立一个更加协作、开放和多样化的社区。欢迎更多的组织和个人参与到Apache Linkis的建设中来,促进Linkis社区的持续健康发展。

六、Apache Linkis官方链接官网首页:

https://linkis.apache.org/

仓库地址:

https://github.com/apache/linkis

订阅Linkis邮件列表:dev-subscribe@linkis.apache.org(向邮箱发送任何内容后,根据回复订阅邮件列表)。

相关文章
我们已经准备好了,你呢?
2024我们与您携手共赢,为您的企业形象保驾护航