← 文章 / 行业与公司动态
Latent Space 14小时前 · 2026-09-28 17:25:44 · 2 阅读

OpenRouter:从种子期到与 Stripe 联手——对话 Alex Atallah 与 Anjney Midha

从开放权重模型刚起步的年代,到成为服务超过 1000 万开发者的中立路由层,OpenRouter 最清晰地印证了一个判断:AI 的未来注定是多模型并存。本期节目中,OpenRouter 联合创始人兼 CEO Alex Atallah 与 AMP 的 Anjney Midha 再度做客,与 swyx 一起聊聊 OpenRouter 如何诞生于 Llama、Alpaca、Mistral 和 Midjourney 的第一波浪潮,为什么“模型多样性”在成为共识之前就已至关重要,以及一家曾被轻视为“套壳”的公司,如何成长为 AI 生态的关键基础设施。

我们深入探讨了 OpenRouter 在产品和分发方面的经验教训:为什么模型实验室能砸下数十亿美元训练一个 checkpoint,却依然难以把它交到开发者手中;Mistral 如何证明了竞争性推理市场的价值;OpenRouter 为什么选择专注主业,而没有扩张去做 fine-tuning、记忆等邻近产品;以及它的排行榜如何成为反映 AI 使用趋势变化的实时地图。Alex 还讲述了 OpenRouter 早期在模型融合上的实验——为什么他们删掉了第一版又在多年后重启,以及平台如何做到每天处理超过 10 万亿 token。

最后,Anjney 解释了为什么 Stripe 和 OpenRouter 是天作之合,为什么token 欺诈可能成为 AI 经济中最具代表性的安全问题之一,以及为什么下一波欺诈不再只来自人类,而是来自自主 agent 对日益有价值的 token 流发起的攻击。


本期话题:

  • OpenRouter 为什么早早押注没有一个 AI 模型能赢得所有场景

  • Alpaca、Llama 和开源模型变得无法忽视

  • Discord 早期的 AI 部署如何暴露了闭源模型的局限

  • 为什么模型实验室能砸数十亿美元训练,却在分发上栽跟头

  • OpenRouter 如何成为模型开发者的中立分发层

  • 为什么 VC 曾把 OpenRouter 贬为“只是一个市场”或“只是一个套壳”

  • Mistral 的价格战,以及推理市场的首个有力证明

  • Midjourney 如何通过 Discord 扩张,以及这一经验对整个 AI 生态的启示

  • 为何加密基础设施成了生成式 AI 的一次预演

  • OpenRouter 与 LM Arena 的区别,以及两者在使命上的根本不同

  • 专注为何成为 OpenRouter 最大的战略优势之一

  • Anthropic 早期聚焦于 AI 结对编程与代码生成

  • OpenRouter 那些完成原型但从未上线的产品

  • MOM,OpenRouter 早期的“模型混合”(Mixture of Models)实验

  • 模型融合(model fusion)为何在 2024 年失败——以及为何如今效果更佳

  • OpenRouter 的排行榜如何成为 AI 行业的实时地图

  • OpenClaw、自动路由与智能体正在重塑 AI 的使用方式

  • OpenRouter 如何实现每天处理 10 万亿+ token 的规模

  • 为何推理网关正日益成为欺诈攻击的目标

  • Stripe 的欺诈防控基础设施对 OpenRouter 的战略意义

  • “智能体欺诈”(agentic fraud)的兴起及对 token 经济体系的冲击

  • OpenRouter 加入 Stripe 后,哪些会变,哪些不会


Alex Atallah


时间戳

00:00:00 开场介绍

00:02:12 Alpaca、Llama 与多模型押注

00:06:04 Discord、开源模型与 OpenRouter 的起源

00:14:28 为什么“单一模型胜出”是个错误的押注

00:17:27 模型实验室为何在分发渠道上举步维艰

00:23:04 “只是个壳”:风投为何误解 OpenRouter

00:27:58 依靠社区驱动的 OpenRouter 自举之路

00:36:16 加密货币、Midjourney 与早期生成式 AI 生态

00:43:38 Mistral 与推理市场平台的诞生

00:47:10 OpenRouter 与 LM Arena 的对比

00:52:08 专注、Anthropic 与未选择的路径

00:59:34 模型混合(MoE)与模型融合

01:02:44 Sonnet、OpenClaw 与 OpenRouter 的爆发式增长

01:09:03 为什么 Stripe 收购了 OpenRouter

01:12:45 欺诈问题与新兴的代币经济

01:17:47 即将到来的 Agent 欺诈浪潮

01:19:07 在 Stripe 旗下,OpenRouter 的下一步


文字实录

引言:OpenRouter、市场平台,以及“发布-订阅”作为产品原则

Swyx [00:00:00]: 好的,我们现在在 Anja 的房子里,这里是旧金山所有大型创业公司的起步之地。

Anjney Midha [00:00:08]: 嗨。

Swyx [00:00:08]: 还有,祝贺 Cursor 和 Mistral。天知道你还投了哪些。你手头有太多事情在忙了。

Anjney Midha [00:00:17]: 是啊,确实很多事情在推进。不过 OpenRouter 大概是……我会说,这是我最近最兴奋的项目。

Swyx [00:00:24]: 是的。我们要请到了 Alex,这是他第一次上节目,但……

Anjney Midha [00:00:27]: 谢谢邀请。

Swyx [00:00:27]: 你参加过几次 IE 会议。每次出现都感谢你对社区的贡献。恭喜。真的,这段旅程太奇妙了。回顾你早期的帖子,我发现你作为一个产品人写下的最早期的原则之一是“订阅”(Sub)作为一种产品理念。我想请你解释一下,你是如何思考这个世界里应该存在什么样的事物的。

Anjney Midha [00:00:49]: 对。订阅这个部分其实是 2023 年初的事,直到十分钟前我们聊天时我才想起来。它讲的是一种看待产品的方式:把产品理解为「订阅数据」和「发布数据」的交集。市场平台就是个最典型的例子——供应商把商品发布成一个个 SKU,而 SKU 就像订阅主题,消费者随时想用就取用。但人类的消费是离散的、临时起意的,没法规模化:买的时候注意力全在这个商品上,除此之外心不在焉。而 agent 和推理服务的消费方式完全不同——它们在持续消费,而且随时在更换所用 SKU。所以 OpenRouter 就是普通 API 体验和市场平台的结合:我们创建模型 slug,提供 auto router,还有各种可供订阅的产品 SKU,然后你就可以持续从中获取价值、做出决策。

Alpaca、Llama 与多模型押注

Swyx [00:02:11]: 这个观点现在已经是共识了,但你们刚起步时还不是——即市场对切换模型、灵活替换存在真实需求,大家不会只用各家原生 SDK。想问问你们两位,各自的「顿悟时刻」是什么时候?我记得你在 EIE 做过一场关于 Alpaca 的演讲——

Anjney Midha [00:02:33]: 嗯。

Swyx [00:02:33]: 那是你的灵感来源之一。

Anjney Midha [00:02:35]: Alpaca,我可以再讲一遍那个时刻。2022 年底那会儿,OpenAI 几乎是唯一的玩家,再就是 OpenAI、Cohere——

Swyx [00:02:47]: 对。

Anjney Midha [00:02:48]: 然后还有一些零零散散的开放权重模型的早期尝试。

Swyx [00:02:54]: 是。

Anjney Midha [00:02:54]: 2023 年 1 月 Llama 发布时,我心想:“哇,太激动人了,这真是一个大事件。”它在两三个基准测试上超过了 GPT-3,但没法拿来做聊天。它不像是一个能带来交互乐趣的模型,但当时我感觉只需要修修补补,再做点 RLHF 调优,它就能变得完美。Alpaca 是我看到的第一个实现了这一点的模型,花费只有 $600。斯坦福的一个团队生成了大量合成数据,对 Llama 进行微调,造出了 Alpaca——一个十亿参数模型,或者也许是十三亿参数模型。它表现得太好了,当时我在飞机上用,很多时候你根本分不清结果是 ChatGPT 还是 Alpaca。由此我意识到,如果造模型这么容易,那我们就第一次找到了一种利用数据变现的新方式:你可以把非常有价值的数据,花 $600 就变成一个服务,而且这个成本将来还会继续下降。

Swyx [00:04:03]: 抱歉,我确认一下——你说的“把数据变现”,最终是指作为 MCP 接口端点,还是作为模型训练数据?

Anjney Midha [00:04:12]: 对,是模型训练数据。

Swyx [00:04:13]: 明白了。

Anjney Midha [00:04:13]: 更抽象地说,就像是对外宣称:“我拥有这份数据。”

Swyx [00:04:15]: 然后把它压缩进模型。

Anjney Midha [00:04:16]: 对我来说,这在我的产品中是合理的,但我可以将其重新封装成一个模型并出售。因此,它为经济带来了一种全新的商业模式。当然,这也提供了一种跟踪前沿实验室(Frontier Labs)动向的方式,但让单个开发者或小型团队也能独立运作。因此,每当出现某个爆款应用,并且有一套可以结合自身特色进行模仿的框架时,就会立即形成一个生态系统。因为单一公司所做的决策,与更广泛的生态系统能自行创建的多样化变体之间,存在着巨大的鸿沟。所以,你需要一个市场来发现所有这些服务和产品。当时,互联网上并没有一个“大本营”来集中查看 LLM 的使用量、使用对象以及使用原因。

Swyx [00:05:29]: 最接近的是 Hugging Face。

Anjney Midha [00:05:30]: 是的,当时 Hugging Face 是最接近的。

Swyx [00:05:31]: 在那之前,他们只是刚开始做 Hugging(脸)[注:此处指 Hugging Face 早期阶段]。

Anjney Midha [00:05:34]: 是的,而且 Hugging Face 也没有闭源模型。

Swyx [00:05:37]: 是的。

Anjney Midha [00:05:38]: 当时你甚至无法使用这些模型,也没有关于谁在使用它们的数据。OpenRouter 和 Hugging Face 之间有很多差异,在我试图了解 LLM 以及人们为何选择那些逐渐出现的较小模型时,这些差异对我显得尤为关键。

Discord、开放模型与 OpenRouter 的起源

Swyx [00:06:03]: 明白了。还有 Ansh,你一向渴望更多样的模型选择。当时你已经加入 Anthropic 两年了,我们在上一期播客中也聊过这段经历。你是怎么认识 Alex 的?

Alex Atallah [00:06:16]: 呃,我认识他们大概是在十三年之前。

Swyx [00:06:20]: 哦。

Alex Atallah [00:06:20]: 但 OpenRouter 的这次“握手”就发生在那边,你还记得吧。

Anjney Midha [00:06:23]: 对。

Alex Atallah [00:06:24]: 也就是说,我和 Alex 应该是在大二那年认识的,如果我没记错的话,是在 Stanford Review。

Anjney Midha [00:06:32]: 没错。

Alex Atallah [00:06:32]: 那是我们第一次见面。

Anjney Midha [00:06:33]: 我想是的。

Alex Atallah [00:06:35]: 嗯。

Anjney Midha [00:06:35]: 对。

Alex Atallah [00:06:35]: Stanford Review 是 Peter Thiel 当年在斯坦福校园创办的一份自由意志主义报纸。不知道为什么,我和 Alex 都去参加了其中一次例会。我记得主编是我们共同的朋友,Lisa 是位非常出色的主编——主编的职责之一就是给每个人分配任务,确保工作能落实。细节我可能记不太准了,但我当时很惊讶,那份报纸居然没有专门的技术版块。

Alex Atallah [00:07:11]: 你

Swyx [00:07:13]: 因为它偏政治,对吧?

Alex Atallah [00:07:14]: 主要确实是这样。

Swyx [00:07:14]: 都是谈

Alex Atallah [00:07:15]: 它最初创办时更像

Anjney Midha [00:07:16]: 对。

Swyx [00:07:17]: 对,聊的都是各州政治之类的话题。

Alex Atallah [00:07:17]: 没错。

Swyx [00:07:18]: 嗯。

Alex Atallah [00:07:18]: 不过,- 让我们回到过去,你们可能还记得,当时有一项名为《网络中立法案》的立法正在讨论中。网络中立本身是一个政治概念,对吧?它主要涉及互联网宽带接入的监管。我们当时有一群人,既是技术人员,也在探讨技术的政治层面。我觉得在《纽约客》杂志上写相关内容的机会很大。我记得当时正在写一篇关于网络中立的报道,并提议:“也许我们应该开设一个科技版块。”Alex 是当时少数回应“好啊,那听起来挺酷的”的人之一。我忘了我们最终是否合作写过东西,但那是我们第一次见面。

Alex Atallah [00:08:03]: 那是 2011 年还是 2012 年,我忘了具体是哪一年了。就是那段时间。

Anjney Midha [00:08:09]: 是的。

Alex Atallah [00:08:09]: 如果我没记错,当时是在 Old Union。

Alex Atallah [00:08:11]: 那是我们经常聚会的地方。后来,Alex 和我经常有机会聚在一起。可能职业上重叠最多的时期,是我在 Discord 负责平台业务的时候,那时它已经成为加密货币领域爆发式增长的平台,

Swyx [00:08:32]: 是的。

Alex Atallah [00:08:32]: 特别是在疫情初期,NFT 也开始爆发。

Swyx [00:08:35]: 顺便提一下,当时你也负责安全事务,对吧?

Alex Atallah [00:08:38]: 我当时的职位是平台负责人,这意味着所有与加密货币相关的事务——包括 DAO 和 NFT 发布时的安全调试——都落在我身上。

Swyx [00:08:45]: 还有他们的钓鱼攻击。

Alex Atallah [00:08:47]: 是的,包括钓鱼、社会工程学攻击,以及我们遭受的 Katana DDoS 攻击。那时候正好是我开始在斯坦福大学大规模教授安全课程 CS153 的时期。Alex 当时在 OpenSea 工作,我正在思考如何防御这些我们面临的攻击。我记得在高峰期,NFT 的交易量有多大

Swyx [00:09:10]: 通过 Discord 进行的。

Alex Atallah [00:09:10]: 在 Discord 上,实际上跑着相当可观的交易量,可以说有数十亿美元的 NFT GMV,而且流量全部来自 OpenSea。这些都是买卖行为。

Swyx [00:09:20]: 这

Alex Atallah [00:09:21]: 服务器

Swyx [00:09:21]: DAO 里的 D 就是 Discord。

Alex Atallah [00:09:25]: 没错。所以我认为我们职业上的联系就是从那会儿开始的。但一年之后,OpenAI 给 Discord 提供了 GPT 的早期访问权。抱歉,是 GPT-3。不,是 GPT-4。对,是 GPT-4,它是 GPT-3 的强化学习版本。就在差不多那个时间,我们用一个内部部署版 OpenAI 做了一个 Discord 机器人,那时我才意识到我们需要……毕竟我当时也是部署团队的一员。

Anjney Midha [00:09:50]: 用例是什么?

Alex Atallah [00:09:51]: 主要有两个。我最近发过一篇题为“Discord 是你的与友共 AI 之地”的文章,有人发给了我,那是我 2023 年写的。当时有两个用例。一个是 Clyde,有点像 Discord 里的派对朋友,它能帮你设置服务器,讨论入驻流程,甚至让你的朋友多来串门。另一个是内容审核。在内容审核中我们有一个顿悟——模型会拒绝执行。它总是拒绝我们的 prompt,因为训练方式就是这样。当时还处在大模型训练的早期阶段,我们的 prompt 会触发它的护栏。我们告诉 OpenAI:“伙计们,我们需要权重访问权,因为我们要进行大规模的内容审核,月活有 2.5 亿,我们需要更高的可靠性,确保模型能按我们的需求执行。”对方回复说:“抱歉,这不是我们的运作方式,我们是闭源公司。”这是让我第一次意识到我们需要开放模型,企业需要更多对模型能力的控制,最终还需要某种控制平面或管理系统来编排这些开放模型。但在那之前,根本没有——没有像样的开放替代方案,直到……

Alex Atallah [00:11:10]: 六个月后 Llama 发布了。又过了六个月,我领投了 Mistral 的 A 轮融资,这家公司由 Guillaume 和 Llama 团队创立。大概就是那时候,我听说 Alex 推出了 OpenRouter,当时心想:“这两个世界迟早会碰撞,只是不知道什么时候合作才合适。”但 Alex 起步非常早,也很有远见。我认为他对这个生态的判断完全正确——它从 Llama 起步,之后就需要一个易于管理的中间层,尤其对企业场景来说。我是从企业角度看的,因为我之前就干过这个。作为 Discord 的平台 VP,我的职责是确保模型部署给两亿五千万用户时,能按我们的意图行事。这非常难,因为如果你把这件事外包给模型实验室,他们控制着 guardrails,而他们的 guardrails 就是他们的安全策略——会禁止模型响应你的 prompt。那后果是相当灾难性的。

Swyx [00:12:05]: 是啊。不过,内容审核恰恰是他们愿意支持的场景。而且再往后,OpenAI 应该也会跟你合作,给你提供一个 moderation endpoint,他们免费提供这个服务。

Alex Atallah [00:12:16]: 这是个挺有意思的使用场景——他们确实给了我们 moderation endpoint。但你们也知道,每个 Discord 服务器就像一个独立的迷你部署。所以这个场景的用法是:不再需要人工版主去解读社区规范,而是直接给模型——通常来说,每个 subreddit、每个公开的 Discord 服务器都有用户自己定的一套规则。

Swyx [00:12:41]: 哦对,我们就在运营 LinkedIn 的 Discord 服务器,没错。

Alex Atallah [00:12:43]: 以前,是人工去阅读并执行这些社区规范,每天手动审核每一条信息。这些社区拥有数百万用户,Discord 在全球内容审核团队拥有 5000 多名成员。这些都是外包合同工,工作非常艰难。因此,我们的想法是,如果能把特定服务器的规范交给 LLM,LLM 就能为该服务器执行自定义审核。这几乎就像为该服务器提供基于上下文的审核。许多服务器的规范实际上违反了 OpenAI 的规则。于是我们建立了自己的自定义评估体系,每个服务器都有专属的评估标准。但当时 OpenAI 的评估体系……我们在部署 LLM 方面都很

Swyx [00:14:28]:没错。我觉得现在大家已经普遍接受了这种观点。回想当初你们融资或创业起步的时候,情况是怎样的?当时投资人能理解你们在做的事吗?有哪些挣扎?我喜欢听他讲讲其他 VC 并不认可他们的故事。所以现在,我们可以说 OpenRouter 早期的那段路已经走完了,对吧?你可以聊聊早期的一些经历。

Anjney Midha [00:14:54]:其实我本来想说,我们遇到的最大反对意见是“大模型必胜论”,也就是——

Swyx [00:15:03]:Scaling laws。

Anjney Midha [00:15:04]:嗯?

Swyx [00:15:04]:Scaling laws。

Anjney Midha [00:15:05]:对,就是 scaling laws,加上自然形成的网络效应,最终都会集中到一家公司身上。那家公司的体量会像 Google 垄断搜索市场一样,以压倒性优势胜出,而其他人只能分食残羹。这大概是我们当时听到的最强有力的反对意见。Google 赢下搜索引擎竞赛的优势确实巨大,这一点很有意思。我甚至觉得,如果当时有更有说服力的基准测试,或者人们能更早地认识到搜索引擎和 LLM 类似,是能够在其上构建公司的服务,那么 Google 未必能赢得如此彻底。但 LLM 不仅仅是一个用户界面,它还是构建全新业务的基石。如果真出现了 Google 级别的垄断,其影响远超东印度公司数个千倍,因为整个经济最终都会依赖这一家垄断企业。因此,这种结果若真出现,并不显得荒谬。不过,由于建立优质竞争者的经济逻辑更容易去中心化,这种极端垄断的可能性其实很低。

Alex Atallah [00:16:25]:Alex 说的都对。而我切入的角度完全不同,我……

Swyx [00:16:31]:是的,这正是我们今天坐在这里聊的原因。

Alex Atallah [00:16:32]: Scaling laws 从来不是问题——在我看来,它们恰恰是 OpenRouter 会有很大价值的原因。我是 Anthropic 最早的投资人之一,我读研时学的是机器学习,在 ML 圈有很多朋友,我们都很清楚 bitter lesson 是成立的。所以我就想:“太好了,现在至少有两个证据证明算力扩展是有效的”,一个是 OpenAI,一个是 Anthropic。等我们决定一起做 OpenRouter 的时候,我已经投了 Mistral、Black Forest Labs 和 Luma。所以当时我已经在和好几家模型公司、好几个团队合作了。

为什么模型实验室做不好分发

Swyx [00:17:14]: 但你投的是其他模态,而这里是……

Alex Atallah [00:17:16]: 覆盖不同模态,对。

Swyx [00:17:17]: 文本。

Alex Atallah [00:17:18]: 没错。当时我非常清楚地看到,一个由各种模型组成的生态正在形成,那种“只会有一家公司像 Google 那样独霸天下”的说法,好吧,也许是真的,但一来我不信,二来有好几个研究团队都在做出惊人的创新。不过我发现他们都面临一个共同问题:研究团队往往非常擅长探索新能力,他们的思维方式是围绕能力展开的,但完全没有开发者思维。比如,训练完成、checkpoint 出来之后怎么办?你可能难以想象,OpenAI——抱歉,是 Anthropic、BFL、Mistral——这些公司早期的训练团队,在把研究成果带出实验室、扩大影响这件事上的默认做法有多相似:checkpoint 训完了,封装成 API 发布,完事,然后就石沉大海了。以 Claude 为例,第一个 Claude checkpoint 在正式对外发布前一年就已经完成了。直到 ChatGPT 出来之后,他们才决定,好吧,对外发布一个 Claude 版本还是值得做的。

Alex Atallah [00:18:34]: 当时他们完全没有规划,对如何让开发者试用产品毫无头绪。翻看一下 Claude 1 的官方博客就能发现,针对 API 用户的示例仅有三个:一个是 Discord 机器人,另一个是我老婆创办的 Juny Learning 的 Vivian,还有一个是 Notion。之所以是这些,全是因为它们都是 Anthropic 圈子里的朋友。那时的计划完全就是临时抱佛脚,一直在问:“模型训练好了,到底怎么推向世界?”当时并不存在懂开发者需求的分发平台,大家关心的密钥管理、资源调配、端点管理、版本控制等基础功能,在科学家和研究员眼里纯属“管道工程”,根本不想费心去碰。

Swyx [00:19:15]: 就是个实现细节。

Alex Atallah [00:19:16]: 没错。但 Alex 偏偏从这个视角切入。对我而言,这一点再明显不过:我投的每一家实验室都会在训练上烧掉天量资金,有时甚至高达数十亿美元。然而 checkpoint 一出,早期访问阶段往往一片死寂,就像有回音的蟋蟀声一样寂寥,因为大家只想起来:“哦,对,就是这东西。”

Alex Atallah [00:19:35]: 光有 checkpoint 很难做成什么。要让它对开发者真正可用,还得在周围搭建一整套“管道”支持。所以我觉得,像 OpenRouter 这样的分发平台,在整个生态里是至关重要的。如果我们要让谷歌面临竞争的话——因为在谷歌那边,DeepMind 训出新 checkpoint,只要按一下按钮,就会推送到包括 Google Docs 在内的所有触点

Swyx [00:20:01]: 无处不在,哪怕我根本不需要。

Alex Atallah [00:20:02]: 无处不在。比如 Android 系统,它们可以在一夜之间向数十亿台设备部署新的 checkpoint,对吗?这种无形的基础设施优势、分发优势,大多数人并没有意识到。在 OpenRouter 出现之前,作为模型实验室,你必须自己搞定所有这些,压力非常大。我印象里,Anthropic 花了十二个月以上才做到首个 1000 万美元的收入。相比之下,记得 Black Forest Labs 早期,你们和 BFL 团队有过一次交流,当时 OpenRouter 可以轻松地表示:没问题,你们发布的那天,我们就给 100 万开发者导过去,对吧?那太疯狂了,相当于一个小时内的阶跃式增长。

Swyx [00:20:46]: 100 万这个数字是真的吗?

Alex Atallah [00:20:47]: 呃,

Swyx [00:20:48]: 好的。行吧。

Alex Atallah [00:20:48]: 我想现在已经到 400 万了。目前 OpenRouter 上有多少开发者?

Anjney Midha [00:20:52]: 超过 1000

Alex Atallah [00:20:54]: 是的。

Anjney Midha [00:20:54]: 超过 1000 万,但是,很难精确统计

Alex Atallah [00:20:59]: 对,我确实不确定具体怎么算。是的。

Anjney Midha [00:21:00]: 我们做了很多去重工作,但是不

Alex Atallah [00:21:04]: 如果能引来 1000 个开发者,只是举个背景例子。如果你发布模型的第一天就有 1000 个开发者来试用模型、做推理并给你反馈,那这就是 1000 个

Anjney Midha [00:21:15]: 这太重要了

Alex Atallah [00:21:16]: 这些开发者是他们自己根本不知道如何获取的。

Swyx [00:21:19]: 没错,BFL 确实有口碑,但确实在

Alex Atallah [00:21:21]: 他们曾在 Stable Diffusion 中有一席之地。

Swyx [00:21:22]: 是的。

Alex Atallah [00:21:23]: 至于 Mistral,不知道大家还记不记得,他们发布的首个 checkpoint 是直接通过 torrent 发布的,就是用的 torrent 权重文件。

Swyx [00:21:31]: 对,他们直接放出了一个磁力链接。

Alex Atallah [00:21:33]: 没错,当时没有 API。

Anjney Midha [00:21:34]: 对。

Alex Atallah [00:21:34]: 因为他们不是做 infra 的人。

Alex Atallah [00:21:37]: 就像,好吧,权重下载好了,你们自己琢磨怎么部署。

Swyx [00:21:39]: 是的,他那边的确有一段故事。

Anjney Midha [00:21:41]: 对,除了围绕模型打造优秀的开发者体验之外,我们对不同模型做的营销和模型实验室自己的营销也是完全不同的,用户的感知也不一样。

Alex Atallah [00:21:54]: 没错。

Anjney Midha [00:21:54]: 跟模型实验室为自己做的营销完全是两回事。

Alex Atallah [00:21:56]: 是的,百分之百同意。

Anjney Midha [00:21:57]: 对吧?我们就像一个中立层来看这个市场。这个市场就像一个大黑屋,所有角落对用户来说都是未知的,用户走进房间,只能摸索着前行。

Alex Atallah [00:22:09]: 嗯。

Anjney Midha [00:22:09]: 摸索着该从桌上拿起哪些东西,用来搭建自己的公司。这种工作方式太疯狂了。模型不像普通产品,可以把所有功能列在网页上。它们全是黑盒,开源权重模型也一样。所以你得把光照进房间的每个角落,让人们看清一个模型到底好在哪。而且提供光照的公司必须是中立的第三方,这正是我们的专长。所以,除了开发者体验,还有一个非常重要的营销和产品包装的环节。

Alex Atallah [00:22:50]: 是的。

Anjney Midha [00:22:50]: 而路由和模型发现的方式,对作为服务商、模型实验室或托管工具的你的市场地位来说,会变得越来越关键。

“只是个套壳”:为什么 VC 们误解了 OpenRouter

Alex Atallah [00:23:03]: 正如你之前提到的,很多风险投资人并不真正懂行。我最大的挫败感之一在于,许多风投从业者在该领域缺乏实际运营经验。不同于那些通过担任分析师构建财务模型逐步晋升、或者在行业里没有超过十年一线操盘经验的传统投资人,我加入 a16z 时,距离自己亲手运营平台才一年时间。因此,我深知构建优秀的开发者体验有多难,也知道仅靠模型开发出可用的软件并不简单。当时有几位投资人(我不点名)审视 OpenRouter 时,我在与同行交流中发现,他们往往轻描淡写地认为这“仅仅是一个市场(marketplace)”。

Swyx [00:23:59]: 对,只是一层薄薄的套壳,只是

Alex Atallah [00:24:00]: 没错

Swyx [00:24:00]: 只是

Alex Atallah [00:24:01]: 对别人 API 的包装而已。但当时我就说:“你们根本不知道 OpenRouter 能够编排哪怕三个 API 并在生产环境中运行,其背后的战略价值有多大。”要让这些服务在 OpenRouter 团队起步的规模下于生产环境稳定运行,所需的大量工程投入和社区设计工作,绝非要靠默认机制就能实现的。这也是 Alex 最早吸引我的特质之一。从系统视角来看,他深谙如何推动这些“飞轮”运转。早在我们在 Discord 合作 NFT 集成、涉及 OpenSea 时,我就注意到了这一点。Alex 具备一种系统性的社区思维,懂得如何驱动这些飞轮,而大多数科学家和机器学习从业者恰恰缺乏这种思维。

Alex Atallah [00:24:48]: 他们通常只考虑训练。

Swyx [00:24:52]: 那是个线性阶段。

Alex Atallah [00:24:53]: 那是条线性流水线。

Swyx [00:24:53]: 还没有形成循环。

Alex Atallah [00:24:54]: 对。现代上下文反馈循环的标准直到行业后期才真正建立。回想当年,做机器学习大概就是在笔记本上跑跑。我当时读研,主要工作就是下载数据集,跑消融实验,看看 loss 曲线,然后心想:“太棒了,我造出 AI 了。”但关于必须部署能力、收集反馈轨迹、并将这些纳入持续循环的想法,其实是后来才出现的。这对传统 AI 思维而言非常反直觉。我记得在 OpenRouter 的投资阶段,我根本没试图向其他 VC 解释为什么它不仅仅是一个市场。我当时想:“什么?我直接投就行。”

Anjney Midha [00:25:41]: 对。

Alex Atallah [00:25:41]: 我要把握这次机会与 Alex 合作。如果其他 VC 不懂,那也没关系。因为当时我觉得,对很多投资者来说,OpenRouter 不只是 API 的包装层这一事实并不显而易见。这点让我很恼火。我当时说:“什么?我没时间跟你辩论。我们要投。”然后我想,大概一个月后,Matt Murphy 给它的估值翻了 10 倍。我记得 Menlo Ventures 意识到:“这里还有更大的战略价值。”也许你没听到这些幕后的谈话,但那些观点让我很沮丧。很多人都在妄议“包装层”。如果你说“哦,App 只是模型的包装层”,那 OpenRouter 就是其他 API 的包装层,这是最愚蠢、最简化的框架。

Alex Atallah [00:26:31]: 这显然表明这人没有大规模部署产品的经验。

Swyx [00:26:34]: 这是你用来贬低其他东西的套话。对吧,每个人都是所有东西的包装层?有些包装层确实有价值。

Alex Atallah [00:26:40]: 投资者是 LP 的包装层,对吧?

Alex Atallah [00:26:42]: 也就是风险投资人。所以,是的,层层包装,直到最底层的裸机,甚至能源。

Swyx [00:26:46]: 对。2023 年我刚提出“AI 工程师”这个概念的时候,最大的反对声音就是说这没有价值,你应该直接去训练模型。

Anjney Midha [00:26:56]: 没错。

Swyx [00:26:57]: 很显然,你们就是最好的证明——既能做出非常有价值的 wrapper,也能做出非常有价值的模型公司。

Alex Atallah [00:27:06]: 这真的很难。一个模型发布的当天,OpenRouter 的接口往往第一天就登上 Hacker News 首页,人们根本不知道做到这一点要投入多少工作。这种事在 OpenRouter 反复上演,我当时就想:“大家完全不知道这有多难。”

Alex Atallah [00:27:30]: 这可不是……

Swyx [00:27:31]: 对,我们之前聊过一些背后的推理工程,

Alex Atallah [00:27:34]: 是的。

Swyx [00:27:34]: 比如和 Base Ten 的合作之类的。现在你们还有一些很酷的代号项目,大家都在猜 Oxy Alpha 是什么。不过我想问的是,最初那个飞轮是怎么转起来的?因为现在你们有规模、有声誉,分发能力自然巨大。但在早期,主要还是……

靠社区从零启动 OpenRouter

Alex Atallah [00:27:55]: 冷启动,对。

Swyx [00:27:56]: 是啊。

Alex Atallah [00:27:56]: 当时的冷启动是什么样的?

Anjney Midha [00:27:58]: 说到早期的 Discord 时光,我记得我们最初是在……严格来说这是个 OpenSea 的故事。当时你还在 Discord,我们聊过 Axie Infinity 的服务器。

Alex Atallah [00:28:13]: 哦,对,对。

Anjney Midha [00:28:14]: 那个服务器当时是……

Alex Atallah [00:28:17]: 对。

Anjney Midha [00:28:17]: 是 Discord 上最大的服务器之一。

Alex Atallah [00:28:18]: 没错。

Anjney Midha [00:28:19]: 当时你们是不是总在拼命提高服务器

Alex Atallah [00:28:22]: 的并发上限?天哪

Anjney Midha [00:28:24]: 看到底能容纳多少人同时在线。

Swyx [00:28:24]: 给不了解背景的听众提个背景,当时菲律宾 10% 的人口都在玩 Axie。

Alex Atallah [00:28:29]: 全挤在那台服务器上。压力巨大。

Swyx [00:28:31]: 它确实对该国的 GDP 做出了相当大的贡献。

Alex Atallah [00:28:33]: 那是一款 NFT 加密游戏,但本质

Swyx [00:28:35]: 就类似《宝可梦》里的 breeding(繁殖养成)。

Anjney Midha [00:28:36]: 对。

Alex Atallah [00:28:36]: 没错,挺像的。里面有对战,有繁殖,还有一个交易市场。

Swyx [00:28:43]: 还能赚钱。

Alex Atallah [00:28:45]: 对,能赚钱。而且画面非常可爱有趣,玩家会对自己养的 Axie 产生感情。所以,要建立那样的社区——我们在 OpenSea 时期为每个早期项目都这么做过——为它们打造市场时,必须确认社区确实有这种需求。

Anjney Midha [00:29:09]: 没错。

Alex Atallah [00:29:09]: 这就好比先做出人们想要的东西,再出去宣传。你可以一对一地做,但在一个大家都能同时与你互动的社区里做这件事,杠杆效应要大得多。因此,我们花大量时间构建社区真正需要的功能。我们在 OpenRouter 上也用了同样的策略。Axie 社区只是我们服务过的大量社区中的一个。Anj 当时看到了我们的做法。因为在那个 Discord 里,人们不停地分享 OpenSea 链接。用户频繁分享链接是一个明显的信号,说明那里正发生着重要的事。于是,我们花了大量时间,首先搞清楚技术在哪些方面存在缺口,这才是人们真正关心的。在 LLM 早期,实际要解决的问题是 OpenAI 拒绝完成提示词,或者

Anjney Midha [00:30:09]: 对

Alex Atallah [00:30:10]:……从而完成这项任务。还有另一方面的原因。

Anjney Midha [00:30:13]: 无法自定义模型。因此,有些社区在这件事上完全受阻,而了解并深入探索这些受影响的社区是最有价值的。

Alex Atallah [00:30:28]: 当时让我印象深刻的一点是——我回想你刚才的发言,我记起当时我做了笔记——你可能不记得了,但我们之前举行了一些工作性质的 Zoom 通话,是在为 Discord 与 OpenSea 的集成进行冲刺开发。参与的是我和我的工程团队。我觉得你当时也在场。我记得在某次通话中途,突然出现了沉默。大家都说:“哦,对,这完全讲得通。就这么办吧。”然后——每个人都达成一致。但 Alex 说:“不,我觉得这没道理。”我记得大家异口同声:“什么?明明可以行得通啊。你点一个链接,然后就会跳转到 OpenSea。”而 Alex 却说:“用户体验不好。是的,我们不该这么做。”我记得,在技术实现角度上,这确实说得通——将用户跳转到 OpenSea,满足了双方产品经理的需求。但 Alex 更进了一步,问:“各位,怎么能更好?如果我们直接把体验嵌入到 Discord 内部,让链接以嵌入式 iframe 的形式打开,你就能直接在那里完成结算。”

Alex Atallah [00:31:47]: 通话中没有任何一个人附和,尽管我们已经有连续好几周碰面的记录了。

Swyx [00:31:52]: 而这个人还不在 Discord 公司工作。

Alex Atallah [00:31:53]: 对,他不是在 Discord 工作的。

Swyx [00:31:55]: 就像,从技术层面说,让用户跳转出去其实对你有好处。

Alex Atallah [00:31:57]: 没错。从博弈角度看,把用户留在 Discord 内部是对 OpenSea 不利的。但 Alex 还是把用户体验放在第一位。我当时就觉得,“这很不一般。”

Swyx [00:32:08]: 哇。

Alex Atallah [00:32:08]: 因为要找到像 Alex 这样既懂技术、理解开发者工作流,又懂最佳用户体验、愿意把用户体验放在优先位置的人,是非常难的。这是飞轮的两面,一旦转起来,往往就很难停下来。你这么一提我想起来了,那正是我意识到“我得在用户体验上做得更好”的时刻之一——那个点子本该由我想出来,结果却没有。我是从你那儿学到的。后来这件事还被我们写进了 Discord PM 培训项目的案例研究里。

Swyx [00:32:34]: 哇。

Alex Atallah [00:32:36]: 我不确定案例还在不在,因为……

Swyx [00:32:38]: 结论就是:你需要一个 Alex。

Alex Atallah [00:32:40]: 对,你需要一个 Alex。这也是为什么 Stripe 决定收购 OpenRouter 完全不让人意外——既懂机器学习社区、又懂开发者体验和用户体验的人,这种组合实在太稀缺了。把这些合在一起,才造就了几乎没有其他市场平台能达到的规模。

Window AI、BYOM 与找到正确的产品形态

Swyx [00:33:02]: 是啊。

Alex Atallah [00:33:02]: 在过去五年里。

Swyx [00:33:04]: 对。不过我们还得聊聊收购的其他原因,你写过相关的东西。我想大致按时间顺序往下讲。H of Zero 的 Dave 提交了一个问题:项目到底是什么时候真正开始跑通的?你提到了 Mixtral,不知道你想不想讲讲那段故事。

Alex Atallah [00:33:22]: 哦,好啊。

Swyx [00:33:23]: 这段经历跟你明显有交集,所以……

Anjney Midha [00:33:26]: 对,MoE 那时候。我不确定具体时间,并没有某个瞬间让我觉得“哦,这就正式跑通了”。它是……

Swyx [00:33:36]: 是你很早就做了那个 Chrome 扩展的时候?

Anjney Midha [00:33:39]: 对。所以在加入 OpenRouter 之前,我想尝试一个 bring-your-own-model 的实验。

Swyx [00:33:47]: 熟悉加密货币的人应该都懂,就像 Phantom 这些项目一样。

Anjney Midha [00:33:50]: 没错。我觉得为 AI 做一个 MetaMask 的类比,是个挺有意思的探索方向。那时候还没有多少 AI 应用,可能通过 API 调用 LLM 的应用,跟那些纯用 JavaScript 做的游戏数量差不多。有那么一个时期,Web 应用本可以直接通过浏览器调用 LLM,就像使用一些由用户控制的桌面管理型应用那样。

Alex Atallah [00:34:27]: 是的。

Anjney Midha [00:34:27]: 当然,有很多原因导致这事没成。但在那个蛮荒时代,我开发了一个叫 Window AI 的 Chrome 扩展。

Swyx [00:34:43]: 用的 Plasmo。

Anjney Midha [00:34:44]: 对,Plasmo。

Swyx [00:34:45]: 我早期就听说过它,当时还在想“谁会用它?”结果被你给用了。

Anjney Midha [00:34:49]: Plasmo 当时有几家用户在用,我记得 Phantom 就在用,还有其他一些实际的公司。

Alex Atallah [00:34:56]: 它就像一层 shim(垫片)。

Swyx [00:34:57]: 相当于 Chrome 扩展的 React,可以编译到所有

Anjney Midha [00:35:00]: 对。

Alex Atallah [00:35:00]: 明白了。

Anjney Midha [00:35:00]: 就像 Chrome 扩展界的 Next.js。

Swyx [00:35:01]: Next.js,就是 Next.js。

Alex Atallah [00:35:02]: 好吧。

Anjney Midha [00:35:03]: 然后我就基于它开发了 Window AI。Plasmo 的创始人开始在 GitHub 上给 Window AI 提交代码,结果那就是 Louis Vicchi

Alex Atallah [00:35:15]: 哦,原来

Anjney Midha [00:35:15]: 他就是 OpenRouter 的创始人。

Alex Atallah [00:35:17]: 没错。你之前告诉我你们就是在这种场合认识 Louis 的。是的。

Anjney Midha [00:35:19]: 对。

Alex Atallah [00:35:19]: 好。

Anjney Midha [00:35:20]: 这就允许用户在浏览器里为网页配置想要使用的模型,应用需要处理任务时就会调用该模型。当然,这不是 LLM 的合适形态,但是一次有趣的实验。你从中能学到很多,我也把它开源了。主要心得是:这必须做成 API,同时界面设计需要调整——需要提供更好的开发者体验(Developer Experience)和模型发现(Discovery)体验。因为我不知道该在哪里使用这些模型,一个小 Chrome 扩展无法满足发现需求,空间太小了。我需要有更多空间、可视化图表、示例和图片。我需要能够以人类和 Agent 两种身份去探索。

加密货币、Midjourney 与早期生成式 AI 生态

Alex Atallah [00:36:10]: 是的。

Anjney Midha [00:36:10]: OpenRouter 就是这样诞生的。

Alex Atallah [00:36:13]: 一个更高维度的观点。

Alex Atallah [00:36:16]: 我觉得这点被低估了,但 Alex 一直在提醒我,当时我们非常幸运,我们离 crypto 社区很近。因为回过头看,crypto 其实是生成式模型的预演,对吧?想想 Axie 的体验,Alex 说得完全对,当时 AI 应用并不多。当时我担任 Discord 的平台负责人,这意味着要打造一个通用场所,让社区、朋友和开发者能够创建并部署应用、bot 及其他服务到 Discord。当时 80% 的注意力都集中在 crypto 上,因为所有的 NFT 交易量都在那里,而我将 20% 的时间花在一个朋友身上,我们经常在玩 Hotbot 时交流。周末我们一起玩《万智牌》,他当时正在开发一个小型 Discord bot,可以将文本输入转换为图像,那个工具叫 Midjourney。你

Swyx [00:37:15]: 那是 David 吗?

Alex Atallah [00:37:15]: 就是 David Holz。

Alex Atallah [00:37:16]: 他是我很好的朋友。在那之前,我和 David 都做过失败的 ARVR 创业。我还记得,Axie Infinity 开始走下坡路之后,Midjourney 成了我们增长最快的社区之一。当年为了支撑 Axie 的扩展而做的很多抽象设计和基础设施决策,恰好赶上了用场——Axie 火了一把之后就断崖式下滑了。等 Midjourney 起飞时,我们明确决定帮 David 把服务器——也就是 Midjourney 的 Discord 服务器——打造成与模型交互的主阵地。因为如果用户看不到别人在怎么用模型、没法模仿,他们根本不知道该怎么上手。所以单独的 Midjourney 网页版,也就是 midjourney.com,留存率惨不忍睹:用户进来,看到一片空白,输入框像 E 2 那样空空荡荡,打个 "cat" 或 "dog",然后面对必须自己填满的空白画布就懵了——毕竟他们从没用过 AI 模型。但在 Discord 服务器里,你能看到别人在用,还能顺着别人的 prompt 加以发挥,参与度直接爆表。所以 Midjourney 从零做到约一千万月活的扩张过程,比 Axie Infinity 平滑得多。所以说——

Swyx [00:38:29]: 别忘了出四张图选一张最好的。

Alex Atallah [00:38:31]: 对,选最好的那张,然后另外几张我们——

Swyx [00:38:32]: 这本身就是一个反馈循环。

Alex Atallah [00:38:33]: 就是 RLHF 的反馈循环。顺带一提,Tom Brown、David 和我以前周末经常一起玩 Magic: The Gathering(万智牌),所以其实就是一帮朋友常聚在一起,这些概念我们一直在讨论。不过——

Alex Atallah [00:38:47]: 当时同时横跨加密圈和 AI 圈的人并不多。相比加密货币——那里的核心问题永远是“这项技术的应用场景是什么?”——AI 从来不需要问这个问题,因为应用场景太直观了:我现在可以创造任何我想象的东西,可以写小说、可以写代码。而我们这些相信分布式系统价值、看重加密货币抗审查属性的人,正好找到了这个爆发式的应用场景。Midjourney、Claude 当时都是作为 Discord 机器人发布的,Claude 是我们内部使用的 LLM;ElevenLabs 的 TTS 模型也部署在 Discord 上。Discord 成了早期应用创新的培养皿。这些应用在 OpenRouter 给世界提供一个公开的“应用商店”之前,先在 Discord 找到了归宿,我觉得这绝非巧合。Discord 就像一个培养皿式的店面,搭在我们为加密社区建的基础设施之上。而 Alex 是最早意识到“等等,这些应用在互联网上需要自己的家”的人之一。在我看来,OpenRouter 就是这种社区需求的延续。当然,你也为很多开发者带来了惊人的分发能力。

为什么 OpenRouter 不能只待在 Discord 里

Swyx [00:40:07]: 那我的问题是,为什么……我的印象是 OpenRouter 并不那么以 Discord 为中心,对吧?你们有一个 Discord。

Anjney Midha [00:40:14]: 对。

Swyx [00:40:14]: 你们用它来运营社区,但不像 Midjourney 那样——Discord 就是人们体验产品的主要方式。

Anjney Midha [00:40:21]: 是的。对 Midjourney 来说,能快速直观地看到人们怎么使用模型、怎么写提示词,这一点非常有帮助。

Swyx [00:40:29]: 嗯。

Anjney Midha [00:40:29]: 所以他们的服务器才如此关键——它本身就是用户体验的一部分,加了很多分。

Swyx [00:40:36]: 没错。

Anjney Midha [00:40:37]: 你可以只用 Midjourney 就走完全程,比如在 Midjourney 的 Discord 服务器上生成图片,然后分享、玩得开心。但对 OpenRouter、对 LLM 来说,你需要围绕 LLM 做大量的用户体验设计,才能真正让人用得起来。

Swyx [00:40:54]: 计费入口。

Anjney Midha [00:40:55]: 对。

Anjney Midha [00:40:57]: 而且看别人的示例也没那么有用,因为要读的东西太多了,很花时间。

Swyx [00:41:03]: 是啊。

Anjney Midha [00:41:04]: 你需要数据库集成——这在 Discord 服务器里做不到。好吧,其实是可能的,我不该这么说,只是开发体验很差。你还需要治理机制:一旦有了数据库集成,你就得治理哪些 LLM 能访问它、数据策略是什么、哪些团队能用。这些需求远超一个 Discord 服务器所能提供的。所以它就是

Swyx [00:41:30]: 嗯。

Anjney Midha [00:41:30]: 不是合适的载体。

Alex Atallah [00:41:32]: 嗯,你没说错,但还有一个很重要的区别:Midjourney 是一个面向最终用户的应用。

Swyx [00:41:40]: 没错。

原始来源: Latent Space

评论 (0)