← 文章 / AI技术
Latent Space 2026/8/28 · 2026-08-28 17:52:57 · 43 阅读

前沿模型成本与开放权重热潮推动模型路由需求增长

随着前沿模型厂商之间的竞争日趋激烈,以及 Kimi K3、Qwen3.8-Max 等开放权重模型的能力不断增强,模型路由已经成为 AI 部署的重要组成部分。就在最近,Stripe 以超过 70 亿美元的价格收购了 OpenRouter,而企业市场对这一趋势的关注度同样高涨。

Glean 由前 Google 杰出工程师 Arvind Jain 联合创立并领导,专注于帮助大型组织引入 AI。去年 6 月完成1.5 亿美元 F 轮融资后,公司估值达到 72 亿美元。今年,Glean 的年度经常性收入(ARR)达到 3 亿美元,15 个月内增至原来的三倍。

Glean 的使命之一,就是为每项任务选择合适的模型——甚至判断这项任务是否真的需要 LLM。

Jain 告诉 Latent Space:“Glean 的一个重要目标,是避免在不需要 LLM 的任务上使用它。有时你会看到用户在 Glean 中进行两数相加或相乘之类的操作,其实用计算器就够了。”

不过,Glean 真正想做的,是为企业员工打造 Jain 所说的‘一个真正强大的个人协作者’。这意味着,Glean 需要成为一个能够统一调度各大主流 LLM 的元级框架。

Glean 于去年 9 月宣布推出第三代 Glean Assistant;如今,agents 已成为 Glean 系统的重要组成部分。

“如今的 Glean 可以看作 ChatGPT、Claude、Gemini 和 Grok 的超集。” Jain 表示,“我们日常使用的这些 AI 产品,Glean 将它们各自的能力融合到了一种统一的体验中。”

对于企业来说,将 AI 技术引入组织只是挑战的一半。另一半,是把组织内部的知识接入 AI 系统。

Jain 表示:“归根结底,我们的业务不仅是深入理解客户的数据、知识和信息,还要了解你们公司内部的工作方式。”

Glean 如何进行模型路由

那么,模型路由在实际应用中是什么样的?简单来说,Glean 提供三种模型选择层级:

  1. 员工可以明确选择模型。

  2. 管理员可以限制可用模型,或设置使用上限。

  3. Glean 的自动模式会针对每项任务动态选择模型。

为特定任务配置模型。

事实证明,Glean 的客户选择自动模式,主要是出于经济方面的考虑。

“为什么大家都在讨论模型路由?为什么对它如此兴奋?主要还是因为成本。”Jain 告诉我们。

Glean 的另一位联合创始人、工程负责人 Tony Gentilcore 最近声称,Glean 的成本效益“是 Claude Code 的 4 倍”——平均每项任务的成本为 0.45 美元,而 Claude Cowork 则为 1.84 美元。他将这一优势归因于 Glean 的“harness 和路由能力”。

对个人用户来说,每月花 20 美元、100 美元或 200 美元订阅 LLM 服务,通常都能获得不错的价值。但对企业而言,按用户计算的成本很容易失控。

“AI 模型的成本越来越高了。”Jain 说,“比如 Opus,或者 GPT 的最新模型,也就是那些最先进的模型。它们不仅能力更强,能处理比上一代复杂得多的任务,而且按 token 计算也更贵——有时是上一代模型的两倍甚至四倍。与此同时,用户还会用它们执行更长的任务。所以,按每位用户计算,你现在的支出可能是去年的 10 倍、20 倍,成本涨了很多。”

人类反馈闭环

Glean 能够崛起的另一个关键因素在于,它可以观察普通企业用户究竟如何使用 AI。这款产品可能会以“同事”的身份部署给每一名员工,也可以用于在各个部门和职能团队中构建、部署 agents。

在 Glean 的客户中,Zillow 表示,其 7,000 名员工的整体采用率达到 80%;而在Booking.com,“Glean 成为了公司首个实现全员采用的 AI 平台”。如此广泛的覆盖,让 Glean 得以深入了解 AI 在企业中的实际使用方式。

“因此,我们能够大范围观察人们究竟在用 AI 做什么,”Jain 说。“我们可以看到,他们面对不同类型的任务时会选择哪些模型作为首选;当对结果不满意时,又会在什么情况下切换到其他模型,以获得真正符合需求的结果。”

这种大规模的人类反馈闭环,有助于持续改进模型路由系统。

Waldo 登场:收集原始素材

Glean 架构的另一部分是一个名为 Waldo 的模型。Jain 介绍说,它位于各个大语言模型之上。Waldo 于今年 4 月发布,被称为“Glean 首个智能体搜索模型”。

Glean 声称,作为其智能体搜索模型的 Waldo“可将延迟降低 50%、Token 用量减少 25%,只在必要时才调用高级模型处理任务”。

在一篇技术博客文章中,Waldo 被描述为用户查询的过滤层:它“会决定如何拆解问题、使用哪些工具、接下来读取什么内容,以及何时已经获得足够证据,可以将任务交给前沿模型来生成高质量答案”。

这意味着,模型路由发生在 Glean 确定完成任务所需的、Jain 所说的“原材料”之后。

他补充道:“我们可以在不消耗 LLM Token 的情况下,收集完成任务所需的原材料。”

由此可见,拥有更好上下文的低成本模型,可能胜过一个被无关数据塞满的前沿模型。

开放权重模型迅速崛起

Jain 证实,如今企业对开放权重模型的兴趣显著增加,主要原因是成本问题。不过,这种变化只是最近几个月才出现的。

他说:“去年,开源 LLM 的使用量微乎其微,几乎没有人真正认真考虑开源方案。”部分原因在于,许多开源模型都在美国以外开发,因此存在一定的“污名”。

但企业客户的兴趣突然开始升温。

Jain 于 2026 年 7 月 27 日发布的推文,表达了对开放权重模型的支持。

Jain 说:“过去三个月里,AI 的成本大幅上升,企业开始发现,维持这些 AI 投资变得难以承受。由于开源模型执行任务的成本低了一个数量级,企业对它们产生了浓厚兴趣。现在可以说,大多数企业都在考虑将开源模型作为 AI 战略的重要组成部分。”

不仅如此,如今企业也不再倾向于只依赖一两家供应商,而开放权重模型的兴起进一步推动了这一趋势。

Jain 说:“现在没人愿意只依赖一家或两家模型供应商,也没人认为自己能在没有开源模型的情况下生存下去。”

评测

2026 年,任何严肃的 AI 讨论都绕不开评测(evals),也就是评估 LLM 输出结果的质量。我询问了 Glean 如何开展评测,以及评测结果如何反馈到模型路由系统中。

Jain 表示,他们有“内部测试系统”,会针对不同类型的查询,在各种备选方案之间对真实世界的工作负载进行比较。具体来说,他们先让模型自行选择路由,同时并行使用“其他一些模型完成同一任务——这些模型的价格可能略低,也可能略高”。

Glean 如何监控质量。

随后,Glean 会利用“AI 评审器”来判断“模型路由器的选择是否准确”。

Jain 解释道:“这实际上是一个持续学习的过程,会根据新的真实流量不断更新。简单来说,你让模型路由器替用户完成任务,同时在后台用同样的任务再运行一遍。”

他补充说,这一流程只会覆盖真实使用量中的“一小部分”,但以 Glean 的规模而言,这已经足够用于训练和改进模型路由器。

从企业搜索到端到端 AI 平台

接下来,Latent Space 将持续关注 AI 系统如何在企业内部落地,以及一些企业如何全面转向 AI 原生。

Glean 是观察这些趋势的一个特别有意思的样本,因为它是最早一批面向企业的 AI 公司之一。公司成立于 2019 年初,最初专注于解决企业搜索问题。正如 Jain 所说,Glean 是“第一家将 Transformer 和语言模型用于企业的公司”。

Glean 的 AI Answers“直接从组织文档中提取信息”。

2023 年 4 月,swyx 采访了 Glean 的Deedy Das。如今担任 Menlo Ventures 合伙人的 Das,曾是 Glean 的创始工程师之一。但即便在那时——Glean 成立约四年后的 2023 年——公司的重点仍主要放在企业搜索上。

到了 2026 年,企业使用 AI 的场景已经不只是搜索。AI 正在成为每位员工工作流中不可或缺的一环。

正如 Das 去年 11 月重返 Latent Space 播客时所说,这让 Glean 成为一家更“性感”的 AI 公司。他说:“总体来说,我喜欢 Glean 的一点是,它原本是一家非常无聊、毫不起眼的公司,后来却变得很有吸引力。”

话题也因此回到了模型路由。Arvind Jain 在谈话最后将 Glean 称为一个“端到端 AI 平台”,并表示企业客户对它的“使用非常广泛”。他补充道,这使 Glean 能够“掌握实现有效模型路由所需的数据”。

原始来源: Latent Space

评论 (0)