进阶 dagster.io 2026-10-10 01:48:56 · 6 阅读

第11章 发布 Dagster+ Terraform 插件

Dagster+ Terraform provider 让平台团队能够将部署、访问控制、告警等以代码形式进行统一管理。你可以以声明式方式定义完整环境,通过 Pull Request 审查变更,并将 Dagster+ 融入现有的基础设施工作流。

现代数据平台即基础设施。不仅仅是管道本身,还包括围绕它的部署、访问控制、告警策略、集成和服务账号等。随着团队对 Dagster+ 的使用规模扩大,这些配置的可靠管理变得与应用代码或云资源同等重要,而手动管理的成本也高昂得多。一个环境的告警配置可能略有不同;某个团队权限在一处修改了,另一处却未同步;代码位置的更新未经过本应适用于其他基础设施变更的审查流程。

这正是我们推出 Dagster+ Terraform provider 的原因。现在,团队可以使用管理其余基础设施的同一套工作流,以代码形式管理 Dagster+ 配置:版本控制、Pull Request 审查、自动化计划以及可重复的应用过程。

``` terraform { required_providers { dagsterplus = { source = "dagster-io/dagsterplus" version = "~> 0.1" } } } ```

将 Dagster+ 作为基础设施管理

该 Provider 覆盖 Dagster+ 的完整管理层面,包括:

- 部署和代码位置 - 团队、用户和角色 - 告警策略和自定义指标 - 密钥和服务令牌 - 组织设置和 SCIM - 集成(GitHub、Atlan)

一个简单的资源定义如下:

``` resource "dagsterplus_deployment" "prod" { name = "prod" type = "SERVERLESS" } ```

组合使用这些资源,你可以声明式地定义整个环境:在单次可审查的变更中,完成部署供给、访问配置和告警连接。

为平台团队打造

Dagster+ Terraform provider 特别适合那些希望以更具可重复性和可审计性的方式管理数据平台的团队。

借助它,你可以:

- 在预发和生产环境中保持 Dagster+ 配置的一致性 - 通过 Pull Request 审查权限和告警变更 - 检测并纠正配置漂移 - 复用内部 Terraform 模块实现标准化配置 - 将 Dagster+ 变更整合到现有的 CI/CD 和合规工作流中

当新的产品团队加入时,只需一个 PR 即可供给部署、配置团队权限并建立告警策略,如同审查和批准其他任何基础设施变更一样。

当 Dagster+ 成为公司生产平台的重要组成部分时,这往往是缺失的一环。优秀的 UI 和 CLI 足以胜任日常操作,但许多团队也需要通过代码管理配置所带来的控制力、可见性和可重复性,尤其是在环境数量增多且合规要求不断升级的背景下。

现已发布

Dagster+ Terraform provider 是开源的,现已可用。如果你已在使用 Terraform 管理云基础设施、身份系统和平台配置,现在可以将 Dagster+ 纳入同一工作流。以代码形式定义环境,一致地管理权限和告警,并使用你到处都在用的相同工具链和审查流程来应用变更。

这是一个早期版本,我们正积极根据反馈塑造其发展。如果你对试用或与我们合作开发感兴趣,欢迎与我们联系。

有反馈或问题?在 Slack 或 GitHub 上发起讨论。 感兴趣与我们共事?查看我们的开放职位。 希望看到更多内容?在 LinkedIn 上关注我们。

评论 (0)