
Space and Time自豪地宣布,创建 Space and Time 分析数据引擎的首席软件工程师Brent Gardner现在是Apache Arrow 的正式提交者。为表彰他们对项目的持续贡献而被选中的提交者有权将代码补丁合并到项目的存储库中,并作为无投票权的项目维护者。Brent 加入了一个令人印象深刻的官方提交者名单,该名单只有不到 50 名官方提交者,其中包括来自 Google、IBM、NVIDIA 和其他公司的代表。Space and Time 很高兴有一位全职赞助的开发人员为 Apache Arrow 项目做出贡献,并且还有更多的开发人员在路上。
关于布伦特加德纳
Brent Gardner 是一位经验丰富的软件工程师,在大数据、科学建模、流媒体和数据分析方面拥有丰富的经验。Brent 自 2009 年以来一直参与构建列式数据库,自 2017 年以来致力于加密货币代码,并从 pre-1.0 开始使用 Rust。除了开发之外,布伦特在公共演讲、教学、领导以及各种编程语言和领域方面也很有才华。在加入 Space and Time 之前,他利用自己的指导和技术远见将多家初创公司从零发展为一家。自加入 Space and Time 以来,Brent 一直是 Apache Arrow、Apache DataFusion 和 Apache Ballista 的积极贡献者。
“我很荣幸成为一名 Apache 提交者,”布伦特说。“在我的整个职业生涯中,我一直有兴趣为开源项目做贡献。我非常感谢 Space and Time 赞助我全职参与 Arrow、DataFusion、Ballista 项目以及这些领域即将开展的一些研究。”
布伦特参与 Apache
Brent 几年前开始使用 Apache,当时他与当时的同事Andy Grove一起负责将公司的数据库引擎移植到 Apache Spark 上。Andy 继续为 Arrow 项目贡献 DataFusion 内存中 SQL 查询引擎和 Ballista 分布式查询调度程序。
“很高兴看到 Brent 参与 Arrow 社区,以及他从贡献者到提交者的进步,”Andy 说。“Brent 是一位才华横溢的工程师,与我共事了很长时间,我很高兴看到他对 Arrow、DataFusion 和 Ballista 做出的宝贵贡献。”
关于阿帕奇之箭
Apache Arrow 提供了一种与语言无关的方式来以柱状格式在进程之间共享内存。为不同的数据库提供标准的交换格式为健壮的矢量化操作奠定了基础,这对现代数据库的要求越来越高。Arrow 包含矢量化操作,可让您保持 CPU 缓存行满载并充分利用现代处理器中的宽位通道。
Apache Arrow 使构建高性能系统和分析管道变得更加容易,但它专门针对快速的柱状数据处理进行了优化。如果你想运行 SQL 或更高级别的任何东西,你需要 DataFusion。Apache DataFusion 是一个内存中的 SQL 引擎,它允许您查询以 Arrow 格式存储的数据,而无需编写低级代码来提取和处理数据。
最后,Apache Ballista 是一个分布式计算平台,它堆叠在 Arrow 和 DataFusion 之上,用于序列化执行计划并以并行格式跨多个节点执行它们。这些项目中的每一个的组合使用创建了一个高性能数据处理平台,在某些工作负载方面可以与 Apache Spark 相媲美。
HTAP 架构的 Apache Arrow
事实证明,基于 Arrow 构建的查询引擎比基于传统 JVM 技术(例如 Apache Spark)构建的查询引擎更加高效。Arrow 允许更快地检索数据以进行分析查询,并实现更快的 TPC-H 基准测试。但是,虽然 Arrow 针对在线分析处理 (OLAP) 进行了优化,但像 Space and Time 这样的混合事务数据库和数据仓库 (HTAP) 旨在针对高吞吐量分析处理和实时事务处理进行优化。Arrow 记录批次通常是不可变的,这对处理事务提出了独特的挑战。对于 Space and Time 团队,构建一个利用 Arrow 支持的高性能分析处理的 HTAP 系统需要新的、创造性的解决方案来处理事务处理。
回馈开源社区
开源软件一直是区块链生态系统发展的标志。去中心化、透明和协作是 Web3 的核心价值,开发人员根本不想信任闭源代码。Space and Time 致力于推进和回馈开源社区。赞助 Brent 作为 Apache Arrow 项目的提交者是我们积极支持开源创新的众多步骤中的第一步。
“拥有像布伦特这样才华横溢的工程师为快速发展的 Apache 生态系统做出贡献是非常令人兴奋的,”Space and Time 首席技术官兼联合创始人 Scott Dykstra 说。“我们看到了 Arrow、Ballista 和 DataFusion 的极端价值。这些技术就是未来。我们很高兴能在他们的基础上进行建设,我们真的很高兴时空工程师正在做出贡献。”
英文原文链接:https://www.spaceandtime.io/blog/brent-gardner-named-official-apache-arrow-committer