Latent Space 前沿 AEO 追踪器:Astra 及各大前沿模型的选择与应对之道
最初对 AEO 的朴素自动化研究投入已经带来了可观的投入产出比,因此我们自然决定将其升级为严肃的项目。受Claude Code 实际选择了什么的启发,我们决定对其进行扩展和调整,以契合我们的需求。
在数亿 token 的原型开发、对齐及规模化管线实践后,我们发布了 Latent Space 前沿 AEO 追踪器。我们的 方法论 是对 AmplifyingAI 研究的扩展:在 7 个1 模型(搜索功能均已开启)上运行 6 种 prompt 变体,覆盖 161 个类别,范围从 编码 Agent 到 AI 播客、AI 沙盒、托管数据库、ASR 模型,乃至 天使投资人、企业支出和 薪酬软件 等小众类别。

答案提取由 Astra 完成,并按一个专有的 AEO 分数打分,该分数会为首选、备选和提及赋予权重,同时对轻度和强烈的反推荐(很少见,但确实存在)给予负权重。我们知道你会感兴趣,所以我们还提取了影响 Agent 推荐的被引最多的信息来源,以及对主要失败案例的分析。

基础结果
以下是全球各自品类中最具主导地位的产品:

其中有些名字眼熟——这自然会让人担心数据污染问题,但我们已核查过。因为我们没什么可隐藏的,所有的提示词和回答都可供查阅。

不过,偏见确实存在——当被要求推荐编程智能体时,不同模型各有所爱:Fable 和 Opus 偏好 Claude Code,Sol 和 Astra 倾向 Codex,Grok 偏爱 Cursor,Muse 喜欢 Muse Code,SWE-1.7 则青睐 Devin,等等。我不明白为什么会这样。其他“软性偏见”也随处可见……

话虽如此,也存在一些显著的例外:GPT 模型会推荐 Claude,这种不偏不倚的做法值得称赞:

在我们调查的全部 161 个类别中,有 28 个类别在所有受测的前沿模型中,其首选推荐几乎呈现出压倒性的一致。

还有大量“势均力敌”和“氛围组而非主理人”的类别,它们理应成为 AEO 的关键战场。
Sol 对 Astra,Opus 对 Fable
新模型系列带来的新预训练数据,为我们提供了一次新机会,去审视各大实验室在数据和 RL 优先级上的动向,并检验初创企业在 AEO 上的投入是否见效。我们特别撰写了报告来分析这些排名,观察到同一实验室不同代际模型之间出现了极具影响力的模型选择反转。

我们为 Opus→Fable 和 Sol→Astra 分别准备了摘要页面。针对部分模型偏好翻转的情况,我们对竞品在各场景下做得更好的地方做了中立分析,并加以突出。

效率与信心,以及推荐来源
Sol→Astra 与 Opus→Fable 对比中一个最令人意外的发现是:Anthropic 似乎在引导模型搜索更多来源(Sol 中位数为 9 个来源,Astra 为 5 个;Opus 为 11 个,Fable 为 15 个)。Astra 整体上显得更“自信”,或者说更“高效”,取决于你怎么看——只要你稍微换个说法重新提问,Astra 改变答案的可能性就小得多。这意味着随着模型选择的随机性下降,AEO 的价值本身反而在上升。

信源分析 也在很大程度上预测了实验室重点关注和忽略的方向。

但目前的样本量很小,且仅代表我们从尝试的 toolcall 中能抓取到的数据,并非预训练数据集。我们能验证的是,Ora 和 Vercel 在 AEO 实践 中衡量的指标,例如 Markdown 内容协商,确实存在,而故障会促使模型减少对你内容的阅读。

仅供娱乐
这是 LLM 眼中的全球顶级天使投资人榜单(还有一些去重工作没做完……)。
更多内容
我们还做了一个小型的家族问答游戏,你可以看看自己的先验认识是否与数据吻合。有趣!
如果大家感兴趣,我们欢迎提出进一步建议或业务咨询,以推动该项目发展。可以联系 @latentspacepod 或发邮件至 [email protected](我们现在有商务经理了!太棒了!)
1正如我们在方法论一文中提到的,我们曾非常努力地将 Gemini/Antigravity、GLM/Zcode 和 DeepSeek/DeepCode 纳入分析,但报错和速率限制使得在本轮初始分析中包含它们变得不可行。如果您代表上述公司,请告知我们如何提高限制。