进阶 dagster.io 2026-10-10 01:48:56 · 6 阅读

第28章 Compass:在 Slack 中实现 AI 数据仓库分析

Compass 现已支持所有主流数据仓库。你可以接入自己的数据源,在 Slack 中直接获得 AI 驱动的分析结果,数据保留在原有位置,治理体系完整无损。

虽然数据团队已在尽力,但数据需求却是无限的。核心痛点在于:获取数据洞察往往意味着要四处寻找正确的 Dashboard,确认数据是否实时,再将看到的内容转译回最初的问题。大多数人最终会选择放弃或凭直觉判断。

我们打造 Compass 正是为了解决这一问题。它是一款嵌入工作场景的 AI 数据分析工具。你只需使用自然语言提问,即可直接从数据仓库获取带有图表和上下文的回答。无需 Dashboard,无需提工单,无需等待。

与其他 AI 分析工具不同,Compass 直接对接现有数据仓库,包括 Snowflake、BigQuery、Redshift、AWS Athena、Postgres、Databricks 或 MotherDuck。数据位置不变,治理完整保留,你只需要更快地获取答案。

Compass 现已在 compass.dagster.io 上线。

在对话发生地进行快速探索性分析 在任意拥有 Compass 的频道中提及 @Compass 并提问。Compass 会在数据仓库的治理上下文范围内搜索,生成 SQL,并在当前对话线程中回复解释说明和可视化图表。

比如:“如果潜在客户参加网络研讨会,成交的可能性有多大?” 几秒钟内即可得到结果,并附带分解分析和趋势图。

再如:“计算过去 30 天企业客户的每日中位数、第 75 百分位数和每日最大并发使用量。然后取这三个指标的中位数,再取该中位数的第 75 百分位数。提供每日百分位数的 CSV 文件及汇总统计数据。” Compass 支持多步骤分析,并直接返回 CSV 文件。

在底层架构上,Compass 遵循复杂的查询生命周期,涵盖从上下文搜索、数据集发现到 SQL 生成和结果处理的全过程。(好奇其工作原理?请参阅《Compass 如何将问题转化为查询》)

内部团队及早期用户反馈显示,Compass 实际上改善了数据团队与利益相关者之间的关系。数据团队不再是被动的瓶颈,而是转变为教育者。当有人提问时,数据团队可以看到问题,随时介入补充上下文或验证方法,从而了解利益相关者真正的需求。这些互动建立了更好的反馈循环:数据团队能发现哪些数据集需要更好的文档,哪些业务逻辑需要编码化,哪些问题是重复出现的。合作关系从交易型(提工单,得答案)转变为协作型(共同解决问题)。

专为寻求控制权的团队打造 你可以控制 Compass 可访问的数据集。你能看到所有问题和查询。当出现异常时,你可以介入并帮助 Compass 学习。

真正的力量在于上下文存储。仓库拥有数据,而你拥有组织知识、命名规范、业务逻辑和边界情况。Compass 会学习诸如“净销售额”在贵司是指排除退款后的金额,或者总是使用 billing_address_state 而非 shipping_address。正是这些上下文让 Compass 对特定组织准确无误,而不仅仅是技术上正确。

当用户遇到复杂问题时,可以直接将数据专家拉入对话线程。这样既能保持治理规范,又不会成为流程瓶颈。

快速配置,即时见效 连接数据仓库,安装 Slack 应用,即可开始使用。Compass 会自动扫描 schema 并开始回答问题。无需配置语义层,无需定义模型,无需准备文档。

安全说明:你的数据永远不会离开数据仓库。Compass 使用现有的权限和安全模型直接连接,生成 SQL 查询并以只读权限执行。我们存储对话和提供的上下文,但实际数据库数据保留在你的基础设施中。你对 Compass 可访问的内容拥有完全控制权。AI 提供商不会使用你的查询进行训练;每个客户享有完整的工作区隔离,所有连接均使用 TLS 1.2+ 加密,存储数据使用 AES-256 加密。

随着团队使用,Compass 不断学习,对业务的理解越来越深。你提供关于业务逻辑和命名规范的上下文越多,Compass 生成的查询针对你所在组织就越准确。

值得信赖的答案 Compass 专为探索性分析而设计,旨在提供支持决策的答案并激发后续追问。每个回答都包含 SQL 代码和足够的上下文,以便理解数据来源。分析过程也是迭代的,它会执行多次查询以寻找最优解。

当董事会报告或佣金计算等场景需要高精度时,请交由数据团队生成正式报告。Compass 擅长处理那些速度比完美更重要的初步探索问题,从而解放团队,让他们专注于需要深厚专业知识的工作。

由于所有交互都在 Slack 中进行,上下文得以保留。后续问题可以基于之前的回答展开。团队无需切换工具即可围绕数据进行协作。

团队正在如何使用它 RevOps 在会议前检查管道健康度。PM 验证用户行为假设。客户成功团队在与客户通话时查阅账户指标。工程师通过结构化日志识别产品瓶颈。

我们发现最强大的模式之一是多人对话。某人开始用 Compass 探索数据,发现有趣之处,并将其他队友直接拉入线程。数据团队可以审查查询、补充上下文或建议后续步骤,全程无需离开 Slack。

我们在 Dagster 内部使用 Compass 已有数月。我们的数据分析师 Anil 使用它来在不扩编团队的情况下扩展分析能力,处理探索性问题、原型 Dashboard,并构建集中式上下文存储,使每次回答都更智能。共同点在于:在那些速度比完美更重要的场景中使用。

现已可用 Compass 已上线。如果你的团队使用 Slack,并拥有 Snowflake、BigQuery、Redshift、AWS Athena、Postgres、Databricks 或 MotherDuck 仓库,你可以在 5 分钟内通过 compass.dagster.io 完成连接。

Compass 向所有人公开。数十名早期用户已在使用,并取得了显著成效。我们将持续迭代,未来几个月将根据生产环境中团队的实际反馈进行优化。

想先试试?加入我们 Dagster 社区 Slack,那里有一个实时演示实例。你可以提问、观察其他用户的使用方式,并在连接自己的仓库之前熟悉 Compass。

即将推出:

主动洞察:自动呈现趋势和异常的每日检查 更深层的治理:细粒度权限和审计追踪 Dagster+ 集成:与编排平台原生连接,提供关于数据新鲜度和血缘的更丰富上下文,简化数据操作。 定制化实施: 如果你希望将 Compass 部署在 Microsoft Teams、Discord、本地环境,或有其他特殊考虑,请联系我们,我们可以协同工作。

我们为何打造 Compass Dagster 旨在提高数据工程师的生产力。我们构建了一个将数据资产视为一等公民的编排和可观测性平台,使数据平台能够在不让人头疼的情况下进行扩展。

Compass 将这一使命延伸到了依赖这些平台所产生数据的人群。驱动 Dagster 的同一套哲学——尊重数据基础设施、兼容现有技术栈、优先考虑用户体验——同样适用于 Compass。

我们设计 Compass 是为了配合你的数据仓库,而非替代它。无论你使用的是 Snowflake、BigQuery 还是 Redshift,Compass 都直接连接现有基础设施。无需移动数据,无供应商锁定,无需架构变更。

你构建的数据平台支撑着企业的核心产品。Compass 将这些产品放在团队工作的地方,使其更有用。

立即在 compass.dagster.io 试用 Compass。 Compass 直接连接 Snowflake、BigQuery、Redshift、AWS Athena、Postgres、Databricks 或 MotherDuck,更多仓库支持即将推出。Slack 集成需要工作区管理员批准。 有反馈或疑问?请在 Slack 或 Github 发起讨论。 希望加入我们?查看开放职位。 想要更多内容?在 LinkedIn 关注我们。

评论 (0)