Gleam v1.19.0:不再编译为 Erlang 源码
Gleam 是一门类型安全、可扩展的语言,可运行在 Erlang 虚拟机和 JavaScript 运行时上。今天 Gleam v1.19.0 正式发布,来看看有哪些新变化。
全新的编译目标
过去几个月,Giacomo Cavalieri 彻底重写了 Gleam 的 Erlang 代码生成器,采用了全新的设计,最明显的变化是输出格式不同了。以前 Gleam 生成的是 Erlang 源码,现在则生成 Erlang abstract forms。
"Erlang abstract forms" 是 Erlang 编译器使用的一种中间表示,是一棵带有元数据标注的树,用来表示 Erlang 语法。它通常由 Erlang 的词法分析器和语法分析器生成,并且可以用 Erlang 的 external term format 进行二进制编码。借助这种二进制格式,我们可以直接加载生成的代码,跳过 Erlang 编译器的前半部分。
这个新的 Erlang 代码生成器带来了诸多好处:
-
编译器性能得到提升,Gleam 项目在 Erlang 上的构建时间显著缩短。
-
运行时拿到的位置元数据现在能精确对应原始 Gleam 源码,而不是编译器生成的 Erlang 源码。比如 BEAM 崩溃报告和堆栈跟踪里的行号现在完全准确,而以前可能不准确,只能定位到最近的函数。这些元数据还有望让 edb 等调试器完整支持 Gleam,不过我们目前还没有做这方面的工作。
-
Gleam 编译器的代码质量得到改善。Erlang 代码生成器曾是 Gleam 代码库中最古老、最稳定的部分之一,虽然没有带来什么问题,但已经不符合我们如今的标准和规范。新的替代实现非常出色,甚至可以说抬高了整个编译器的门槛。
-
我们再也不会听到有人把"transpiler"当贬义词来用了。1
那么,到底快了多少?
稍后我会展示一些具体数据,但请记住,基准测试往往具有人为构造的特征,无法呈现全貌。这些数据可以作为入门或起点,但要获得透彻的理解,还需要进一步研究和亲身实践。
该 基准测试 基于 José Valim 的 langcompilebench 项目。感谢 José!它衡量的是编译 100 个模块所需的时间,每个模块包含 100 个返回 "hello world" 字符串的函数。这种测试形式很实用,因为可以轻松将其复制到其他语言中,从而生成高度一致的对比项目。不过,它能提供的信息有限,因为只编译了每种语言的一小部分特性。在真实项目中,代码会多样化得多,且不同语言中不同特性的编译成本各异。
代码生成器重写的第一阶段已在上一版本 v1.18.0 中发布,因此我们来对比一下 v1.17.0 和新发布的 v1.19.0。下图展示了编译基准测试项目所需的时间,时间越短越好。
可以看到,性能有了显著提升!这是一次从零开始的完整构建,没有使用任何缓存。Gleam 的编译是增量的,因此在典型开发过程中,由于无需编译整个项目,速度会快得多。
原始 langcompilebench 仅包含 Erlang、Elixir 和 Gleam,但我扩展了其他一些流行编程语言,帮助大家大致了解与熟悉语言相比,Gleam 的编译速度如何。我还加入了 Gleam 编译为 JavaScript 的结果。以下是相关数据:
再次提醒:这是一个人工构造的基准测试,单凭这些结果不足以对编程语言下任何定论。不过,这些结果确实表明 Gleam 的编译非常高效。作为一名 Gleam 开发者,我可以说开发体验非常愉悦,几乎不用等待电脑。
为什么不直接生成 BEAM 字节码?
我们已不再将源码直接交给 Erlang 编译器,而是转向生成中间表示再传入编译器。那为什么不干脆绕过 Erlang 编译器呢?能不能做一个性能更优的 BEAM 字节码生成器?或许还能利用 Gleam 的类型信息,生成优化程度更高的代码。
虽然这些优势在理论上是可行的,但实际上我们很难做到。与 Erlang 源码和抽象形式不同,BEAM 字节码并非一成不变的固定标准。虚拟机的每个新版本都可能对字节码进行演变和改进,增加新功能,有时也会移除那些已过时的功能。这意味着我们需要承诺持续跟进这一演进过程,与 Erlang 维护者紧密合作,以应对即将发生的变更,并确保 Gleam 的新版本能适配虚拟机的新发布。此外,要重现 Erlang 编译器在过去几十年中实现的现有优化,即使有 Gleam 更强大的静态分析提供帮助,也是一项巨大的工程。
Gleam 是一个社区项目,依靠赞助支持。与那些由企业或学术机构背书的语言相比,我们的资金规模只是其中的一小部分,因此我们需要仔细思考资源的最有效且可持续的使用方式。Gleam 是软件开发可靠的基础,我们做的每一个决策都必须能支撑未来数年甚至数十年。目前,编译到 Erlang 抽象形式是 Gleam 性价比最高的选择。
做出这一决定的我们并非孤例。备受喜爱的“大兄弟”语言 Elixir 也是通过抽象形式编译到 Erlang 的。既然这对 Elixir 足够好,那对 Gleam 也足够了!
好了,话题到此为止。Gleam v1.19.0 还有更多内容值得介绍。
JavaScript 决策树赋值优化
获得关注的并非只有 Erlang 代码生成,JavaScript 也迎来了一些不错的改进。
在 Gleam 中,流程控制通过 case 表达式进行模式匹配,编译后则变成嵌套的 if 语句。由于模式匹配是声明式的,编译器可以重新排列并优化运行时逻辑,用分治的方式尽快找到匹配的分支。
John Downey 改进了这一过程,让生成的代码更扁平:嵌套的 if 语句被合并为单个条件,中间变量也更少。例如下面这段 Gleam 代码:
pub fn go(x) {
case x {
Wibble(1, 2) -> 1
_ -> 2
}
}
以前,这么短的一段 Gleam 会编译成相当冗长的 JavaScript2:
export function go(x) {
if (isWibble(x)) {
let $ = x[0];
if ($ === 1) {
let $1 = x[1];
if ($1 === 2) {
return 1;
} else {
return 2;
}
} else {
return 2;
}
} else {
return 2;
}
}
现在则生成这样的代码:
export function go(x) {
if (isWibble(x) && x[0] === 1 && x[1] === 2) {
return 1;
} else {
return 2;
}
}
显然是个不错的改进!出人意料的是,经过压缩后代码包的体积几乎没有变化(gzip 真是神奇),但生成的代码分支更少,JavaScript 引擎优化起来更容易。
感谢 John!
列表字面量优化
Gleam 的不可变持久化列表类型与 JavaScript 的可变连续数组类型虽然在各自语言中语法相似,但本质不同。Gleam 代码编译为 JavaScript 时,任何列表字面量都得编译成构建对应运行时数据结构的 JavaScript 代码。例如这段 Gleam 代码:
let numbers = [1, 2, 3]
以前会编译成类似这样的 JavaScript2:先构建一个 JavaScript 数组,再传给一个函数把它转换为 Gleam 列表。
const numbers = arrayToList([1, 2, 3])
本次发布后,编译器会对较短的列表字面量生成不同的代码——更直接的代码,不再需要从数组转换。
const numbers = prepend(1, prepend(2, prepend(3, empty)))
在基于现代 JavaScript 引擎的场景中,这一改动带来了可观的性能提升。对于大量使用短列表的项目(例如使用 Lustre 库的项目),效果尤为显著。我们在长列表场景中没有观察到性能改善,因此这类场景仍沿用数组转列表的方案。
感谢 Giacomo Cavalieri 的贡献!
TypeScript API 重载
编译到 JavaScript 时,Gleam 编译器会生成针对 JavaScript 访问自定义数据结构的 辅助函数。与此同时,编译器还能提供 TypeScript 声明文件,让 TypeScript 和 Gleam 在单个项目中实现完整集成。
每个自定义类型都会生成一个函数,用于判断某个值是否属于特定变体。例如,给定以下类型定义:
pub type Box(value) {
Full(value)
Empty
}
生成的函数对应的 TypeScript 声明如下:
export function Box$isFull(value: any): value is Full<unknown>;
细心关注 TypeScript 的读者可能会注意到这里存在一个问题。如果已知值的类型为 Box<number>,那么虽然该函数可以将容器类型收窄为 Full,但 number 类型参数会被泛化为 unknown,导致类型信息丢失,使用体验非常糟糕。
Giacomo Cavalieri 为此添加了重载定义,以便尽可能保留原有类型。
export function Box$isFull<I>(value: Box$<I>): value is Full<I>;
export function Box$isFull(value: any): value is Full<unknown>;
再次感谢 Giacomo!!
其他构建工具的改进
Gleam 用户通常使用 gleam 可执行文件中的官方构建工具,但有时也会需要在其他上下文中编译和使用 Gleam 代码。例如,Elixir 或 Erlang 开发者可能希望使用用 Gleam 编写的依赖包。由于这三种 BEAM 语言具有出色的零成本互操作性,这在运行时表现完美无缺,但实现这一过程可能比较棘手,因为 Elixir 和 Erlang 的主要构建工具没有内置对 Gleam 的支持。
gleam 可执行文件提供了多个暴露编译器功能的命令,供其他构建工具使用。本次版本对这些命令进行了多项改进,旨在让 Elixir 的 Mix 和 Erlang 的 rebar3 能够支持 Gleam。
Erlang 虚拟机要求每个包都附带一个 .app 资源文件和编译器字节码。过去,支持 Gleam 的构建工具需要自行提供这些文件,但现在 gleam 在编译到 BEAM 时会自动生成这些文件。
compile-package 命令新增了一个 --no-dev 标志,使用该标志时,编译器将仅加载 src 目录中的代码,并跳过 dev_dependencies 中列出的包。
export package-information 和 export package-interface 命令现在可以将信息输出到标准输出,而之前它们必须写入文件。与此同时,export javascript-prelude 和 export typescript-prelude 命令现在支持写入文件。
感谢 Rodrigo Álvarez 添加这些功能!希望不久之后我们能在 Elixir 的 Mix 构建工具中看到对 Gleam 的支持。
语言服务器标签支持
Gleam 内置了一个优秀的语言服务器,为所有支持语言服务器协议的编辑器提供 IDE 功能。最后一个重大功能缺口是对字段和参数标签的完整支持。Alistair Smith 已修复此问题,添加了对标签的跳转到定义、查找引用和重命名的支持!感谢 Alistair,我知道许多人对这个节省时间的功能将感到欣喜若狂。
在浏览器中格式化 Gleam 代码
编译器还有 WebAssembly 版本,语言之旅和 playground 都用它来在浏览器里编译 Gleam。John Downey 新增了一个 format_source 函数,让大家可以在浏览器里直接运行 Gleam 代码格式化工具。我们很快会把这个功能加进 playground。谢谢 John!
一如既往:更好的错误提示
让错误信息尽可能清晰、有用,对我们来说非常重要。工具在一切顺利时好用固然不错,但真正影响程序员心态的,是出错时的体验——它是雪中送炭还是火上浇油。
不小心写错语法会很烦人,尤其是当你不确定错在哪、错是什么的时候。
0xda157 为代码中出现的 git 合并冲突标记添加了专门的错误提示,还为记录更新语法 User(..lucy, score: 10) 原始记录位置写错的情况(比如写成 User(score: 10, ..lucy))添加了错误提示。此外,她还为 Gleam 中不存在的过程式运算符(如 += 和 *=)添加了错误提示。
n0kk23 为模式匹配中 | 的错误用法添加了自定义的友好错误提示——这种写法在 Java 等语言中合法,但在 Gleam 中不是有效语法。
Giacomo Cavalieri 为常量表达式中不允许使用的二元运算符添加了友好的错误提示,同时改进了编译器在面对这类错误时的容错能力3。
Andrey Kozhev 为模块试图使用同包内另一个模块的私有类型或私有值的情况补充了更多上下文,告知使用者该类型或值确实存在,只是私有的。对于依赖包中的模块,我们不做这样的提示,以避免泄露程序员并不维护的代码信息。
最后,James Dolan 优化了类型检查器,现在无效的类型别名定义不再导致使用该别名的所有地方出现级联错误。
感谢大家让 Gleam 的调试变得愈发简单。
其他贡献者
感谢修复 Bug 和完善体验的贡献者:
0xda157、Amr Kadry、Andrey Kozhev、Giacomo Cavalieri、Hari Mohan、Ian Chamberlain、Jack Programs、John Downey、Lillian Rose、Mar Bloeiman、mmustafasenoglu、Naomi Roberts、Rodrigo Álvarez、Senthilnathan、Surya Rose 以及 Vivid。
他们实现的众多修复与改进的完整详情请参阅更新日志。
支持请求
Gleam 不属于任何公司,而是完全依靠赞助者支持,其中大多数每月贡献 5 到 20 美元,且 Gleam 是我唯一的收入来源。
我们在实现“为核心团队提供合理薪酬”这一目标上已取得很大进展,但仍有路要走。请考虑支持该项目或核心团队成员。
感谢所有赞助者!特别感谢我们的顶级赞助者:
- # <h1>NinaLovesToPutLongTextIntoNameFields.GitHubNamesArePrettyFun(IThinkThereAreOnlyAFewAnnoyingBugsAndOneFormThatStoppedWorkingCompletely).AnywayCheckOutGleam!ItIsAReallyCoolLanguageWithALovelyCommunity.BLM!CovidIsNotOver!TransRightsAreHumanRights!</h1>
- 0xda157
- Aaron Zuspan
- Abel Jimenez
- Aboio
- Adam Brodzinski
- Adam Daniels
- Adam Johnston
- Adi Iyengar
- Adrian Mouat
- Ajit Krishna
- albertchae
- Aleksei Gurianov
- Alex Houseago
- Alex Kelley
- Alex Manning
- Alexander Stensrud
- Alexandre Del Vecchio
- Aliaksiej Homza
- Alistair Smith
- Andrey
- André Mazoni
- Andy Young
- Anthony Scotti
- Antonio Farinetti
- ArcOnyx
- Arthur Weagel
- Arto Bendiken
- Arya Irani
- Atuin
- Barry Moore II
- Ben Martin
- Benjamin Kane
- Benjamin Moss
- bgw
- Billuc
- blurrcat
- Brad Mehder
- Brett Cannon
- Brett Kolodny
- Brian Glusman
- Bruce Williams
- Bruno Konrad
- bucsi
- Caleb Falcione
- Cameron Presley
- Carlo Munguia
- Carlos Saltos
- Chad Selph
- Chew Choon Keat
- Chris Lloyd
- Chris Ohk
- Chris Vincent
- Christian Visintin
- Christopher De Vries
- Christopher Keele
- Clifford Anderson
- Coder
- Cole Lawrence
- Comamoca
- Constantin (Cleo) Winkler
- Corentin J.
- Cyphernil
- dagi3d
- Dan
- Dan Dresselhaus
- Dan Gieschen Knutson
- Dan Piths
- Dan Strong
- Daniele
- daniellionel01
- Daniil Nevdah
- Danny Arnold
- Danny Martini
- Darshak Parikh
- David Bernheisel
- David Cornu
- David Pendray
- Diemo Gebhardt
- Djordje Djukic
- Dylan Anthony
- Dylan Carlson
- Ed Rosewright
- Edgar Gomes
- Edon Gashi
- Eileen Noonan
- Eleina Mironia
- Eric Koslow
- Erik Ohlsson
- Erik Terpstra
- erikareads
- ErikML
- erlend-axelsson
- Ernesto Malave
- Ethan Olpin
- Evaldo Bratti
- Evan Johnson
- evanasse
- Fabrizio Damicelli
- Falk Pauser
- Fede Esteban
- FeiShengWu
- Felix
- Felix Dumbeck
- Filip Figiel
- Florian Kraft
- Francis Hamel
- frankwang
- G-J van Rooyen
- Gabriela Sartori
- Gears
- Geir Arne Hjelle
- Giacomo Cavalieri
- ginkogruen
- Giovanni Kock Bonetti
- Grant Everett
- graphiteisaac
- Greg Burri
- Guflly
- Guilherme de Maio
- Guillaume Heu
- Hannes Nevalainen
- Hans Raaf
- Hari Mohan
- Harry Bairstow
- Hazel Bachrach
- Henning Dahlheim
- Henrik Tudborg
- Henry Warren
- Heyang Zhou
- Hizuru3
- Hubert Małkowski
- Iain H
- Ian Chamberlain
- Ian González
- Igor Montagner
- ImmConCon
- inoas
- Isaac McQueen
- iskrisis
- Ivar Vong
- Jachin Rupe
- Jack Valinsky
- JackProgramsJP
- Jake Cleary
- Jake Wood
- James
- James Birtles
- James MacAulay
- Jan Fooken
- Jan Pieper
- Jan Skriver Sørensen
- Jean Niklas L'orange
- Jean-Adrien Ducastaing
- Jean-Luc Geering
- Jen Stehlik
- Jerred Shepherd
- Joey Kilpatrick
- Joey Trapp
- Johan Strand
- Johanna Larsson
- John Björk
- John Downey
- John Strunk
- Jojor
- Jon Charter
- Jon Lambert
- Jonas E. P
- Jonas Hedman Engström
- jooaf
- Joshua Steele
- jstcz
- Julian Hirn
- Julian Lukwata
- Julian Schurhammer
- Justin Lubin
- Jérôme Schaeffer
- Jørgen Andersen
- KamilaP
- Kemp Brinson
- Kero van Gelder
- Kevin Schweikert
- khalidbelk
- Kile Deal
- Kirill Morozov
- Kramer Hampton
- Kristoffer Grönlund
- Kristoffer Grönlund
- Krzysztof Gasienica-Bednarz
- Kuma Taro
- Landon
- Leah Ulmschneider
- Lennon Day-Reynolds
- Leon Qadirie
- Leonardo Donelli
- Lexx
- lidashuang
- Lillian Rose
- Lukas Bjarre
- Luke Amdor
- Manuel Rubio
- Marius Kalvø
- Mark Holmes
- Mark Markaryan
- Markus Wesslén
- Martin Fojtík
- Martin Janiczek
- Martin Poelstra
- Martin Rechsteiner
- matiascr
- Matt Heise
- Matt Mullenweg
- Matt Savoia
- Matt Van Horn
- Matthew Jackson
- Max Duval
- Max McDonnell
- METATEXX GmbH
- Michael G
- Michael Jones
- Michael Mazurczak
- Michal Timko
- Mikael Karlsson
- Mike Roach
- Mikey J
- Mikko Ahlroth
- MLC Bloeiman
- MoeDev
- Moin
- Mustafa Senoglu
- N. G. Scheurich
- n0kk23
- n8n - 工作流自动化
- Naomi Roberts
- Natalie Rose
- Nessa Jane Marin
- Nick Leslie
- Nick Papadakis
- Nicklas Sindlev Andersen
- NicoVIII
- Nigel Baillie
- Niket Shah
- Nikolai Steen Kjosnes
- Nikolas
- NineFX
- Nomio
- nunulk
- Olaf Sebelin
- OldhamMade
- Oliver Medhurst
- Oliver Tosky
- ollie
- Optizio
- P.
- Patrick Wheeler
- Paul Guse
- Pedro Correa
- Pete Jodo
- Peter Rice
- Philpax
- Qdentity
- R.Kawamura
- Race
- Radmacher
- Rasmus
- Raúl Chouza
- rebecca
- Redmar Kerkhoff
- Reilly Tucker Siemens
- Renato Massaro
- Renovator
- Rico Leuthold
- Rintaro Okamura
- Ripta Pasay
- Rob Durst
- Robert Attard
- Robert Ellen
- Robert Malko
- Rocka Nutrition GmbH
- Rodrigo Álvarez
- Rohan
- Rotabull
- Rupus Reinefjord
- Ruslan Ustitc
- Russell Clarey
- Sakari Bergen
- Sam Aaron
- Sammy Isseyegh
- Savva
- Saša Jurić
- Scott Trinh
- Scott Wey
- Sean Cribbs
- Sean van den Eijnden
- Sebastian Porto
- Senthilnathan
- Seve Salazar
- Sgregory42
- Shane Poppleton
- Shawn Drape
- Shunji Lin
- shxdow
- Sigma
- simone
- Stefan
- Steinar Eliassen
- Stephane Rangaya
- Strandinator
- Sławomir Ehlert
- Thomas
- Thomas Coopman
- Thomas Crescenzi
- Tim Brown
- Timo Sulg
- Tobias Ammann
- Tomas Vemola
- Tomasz Kowal
- tommaisey
- Tristan Sloughter
- Tudor Luca
- upsidedowncake
- Vassiliy Kuzenkov
- Viv Verner
- Vivid
- Volker Rabe
- vshakitskiy
- Will Ramirez
- Willow (GHOST)
- Xucong Zhan
- Yamen Sader
- Yasuo Higano
- ZWubs
- ~1814730
- ~1847917
- ~1867501
- Éber Freitas Dias