进阶 dagster.io 2026-10-10 01:48:56 · 6 阅读

第29章 Dagster 1.0 发布:打造稳定可靠的数据编排平台

宣布 Dagster 1.0 正式发布——为现代数据平台的编排层提供一个稳定的基础。我们非常激动地迎来 Dagster 1.0 的发布。

1.0 并没有带来什么颠覆性变化,它更像一个里程碑,标志着 Dagster 的核心抽象已经打磨完成。想要体验 Dagster 独特能力的数据团队,从此有了一个可以放心依赖的稳定基础。

> Dagster 开源项目负责人 Sandy Ryza 为你详细解读 Dagster 1.0。

Dagster 与其他数据编排器不同。它是首个专为数据开发生命周期全流程设计的编排器——从本地开发、单元测试、集成测试、预发布环境,一直到生产环境。它也是首个引入软件定义资产(software-defined assets)的编排器——让团队专注于要构建的核心数据资产,而把任务管理交给编排器。

Dagster 的旅程始于四年前,Elementl 的创始人兼 CEO Nick Schrock 写下了第一行代码。此后,Dagster 发布了 463 个版本,逐步成长为一个具备生产级调度器、模式化配置系统、丰富的日志、资产目录、轻量级 sensor、33 个集成库和一流 Web UI 的平台。

在这一过程中,我们一直没有宣布 Dagster 1.0,因为我们相信迭代才能造就更好的软件——如果固守最初想到的方案,往往意味着没有探索过完整的可能性空间,最终很可能离全局最优解很远。这些年来,我们对 Dagster 的核心 API 做了大量调整,大幅提升了它们的易用性和实用性。直到最终,我们发现已经不再需要做破坏性变更了。

去年,Dagster 的核心计算抽象——ops、graphs、jobs、schedules 和 sensors——达到了稳定状态。今年,资产层也做到了同样——软件定义资产、物化(materializations)和资产分区均已稳定。当所有核心抽象都趋于稳定后,正式宣布 1.0 的时机也就成熟了。

1.0 承载着 200 多位代码贡献者的心血,还有数百人提供了反馈、报告 bug、给予鼓励。我们衷心感谢社区中每一位帮助 Dagster 走到今天的人。

当然,前方还有大量工作要做。我们的核心工程团队已经在规划下一步要在这个基础之上构建什么。我们期待在声明式资产编排上走得更深,扩展并强化 Dagster 的集成能力,持续拓宽 Dagster 编排层的功能边界。

想了解本次发布的更多细节,请查看 change log、release notes 和 migration guide。

有反馈或问题?欢迎在 Slack 或 GitHub 上发起讨论。想加入我们?查看在招职位。想看到更多此类内容?关注我们的 LinkedIn。

评论 (0)