YC最新判断：Harness比模型更重要

本文来自微信公众号： 硅基观察Pro ，作者：硅基君

9月3日，ARC Prize（一个测试接近人类极限推理能力的综合考试）公布了ARC-AGI-3的最新成绩，数据有点反直觉。

同一个模型——GPT-6 Astra，同样的推理强度，在两套不同的Harness下，却跑出来了截然不同的成绩：

放进标准Harness，得分62.7%；换成Provider Adapter Harness，得分98.6%。

请注意，这不是两个模型的对比，是同一个模型的两次考试，分差35.9个百分点。

更反直觉的是成本。得分更高的那一组，花费反而更低：从约2.61万美元降到1.73万美元，降了约34%。

大脑没换，只是换了工作方式，Agent几乎变成了另一个水平。

几天后，YC专门办了一场Paper Club，主题就叫《Why the Harness Matters More Than the Model》。这场分享由YC的François Chaubard主持，请来了三组不同视角的研究员：Prime Intellect的Seth Karten、斯坦福的Jon Saad-Falcon，以及YC自己的Josh France和Regan Bell。

他们的研究侧重不同，但都把目光放到了同一件事上，模型外面的那套东西——Harness。

先说基本结论：AI竞争的胜负手，正在从"谁的模型更强"，转向"谁能把模型更好地组织起来"。

模型能力正在变成一种"给定条件"。在这个条件相同的情况下，Agent之间还能差出36个百分点。这36个百分点，就是Harness的价值空间。

那么问题来了——Harness到底是什么？它为什么能拉开这么大差距？这篇文章硅基君就顺着这场分享拆一下。

/01/

Harness，就是模型外面那套"工作方式"

Harness这个词的本义是"马具"——套在马身上，把马的力量传导到车上的那套装置。

放在AI语境里，它指的就是大模型在完成真实任务时，外面那一整套运行框架：系统提示词怎么写、上下文怎么组织、能调用哪些工具、记忆存在哪、子Agent怎么分工、会话怎么管理。

一个形象的区分是，模型决定"大脑有多聪明"，Harness决定"这个大脑干活时手里有什么"。

Agent执行任务的时候，能看到哪些资料、能用什么工具、前面做到哪一步还能不能接着干，这些都不由模型决定，而由Harness决定。

YC合伙人François Chaubard亲历过这种变化。

今年3月，他在试用Karpathy的自动研究项目时，最初只是想加个界面，好看清楚Agent到底在做什么、实验跑到哪一步。结果做着做着，资料检索、实验、评审、写作、进度管理陆续被接了进来——他后来才发现，自己无意中搭出了一套完整的Harness。

现在他只需要给出研究方向和评价指标，后面的工作就由多个Agent持续推进。三四月份产出的论文还比较粗糙；到后来，他会一次丢进去多个研究想法，让系统自己跑，过一阵回来收结果，质量已经相当不错。

模型没有更新换代，但Agent交付的结果越来越好。

这背后有一个很朴素的道理：模型决定上限，Harness决定你能不能摸到这个上限。

这里还要补一句背景。Harness这类工作，过去在机器学习圈子里一直"不上台面"。改提示词、接工具、套任务循环，听起来更像工程优化而不是模型研究，甚至有人公开质疑这算不算真正的AI研究。

但现在，这个被轻视的环节，已经可以直接拉开成绩了。

/02/

Harness和模型的边界，正在被打通

过去几年，Harness的重心一直是增加能力。现在，Harness本身开始成为优化对象。

最先被优化的，是提示词。以前提示词不好用，靠人一次次试。现在DSPy这类系统可以自己尝试不同写法，再用测试结果挑出效果最好的版本——把"调提示词"从手艺活变成了搜索问题。

第二步，优化Harness本身。

Darwin Gödel Machine（DGM）走得更远：它不只调提示词，还可以直接修改运行Agent的Harness代码。一套任务流程不好用，就换一种写法，再用测试结果判断新版本是不是更好。在论文实验中，这套系统把SWE-bench成绩从20%提高到50%。

第三步，让历史经验进入下一版。

Continual Harness补上了另一块：Agent可以回看过去的任务记录和结果，再决定要不要修改提示词、增加技能、更新记忆，或者调整子Agent配置。

也就是说，过去一次次跑任务留下的经验，开始沉淀进下一版Harness。

而当前更激进的方向，是开始让模型本身也在运行中继续学习——把Agent刚产生的数据重新用于训练，甚至在测试阶段直接更新模型权重。

这意味着什么？

优化的方向，正在从Harness往模型里面走。Agent的进步，开始依赖Harness的迭代。

换句话说，Harness和模型之间的边界，正在被打通。

/03/

好的Harness，不需要把流程写死

一个反直觉的发现是：模型越来越强以后，Harness反而不需要把每一步都替它写好。

过去做Agent，常见的思路是把流程拆得很细：第一步做什么，第二步调用什么工具，第三步怎么判断结果。这样做的好处是稳定，但问题也很明显——任务一旦变长、环境发生变化，提前写好的流程很容易失效。

Prime Intellect的Seth在演讲中介绍了团队开发的Prime Agent。它的思路正好相反：少规定流程，多给模型准备可以调用的资源。

其中一个核心设计叫“信息分层”。Agent需要的信息，被放在三个不同的地方。

当前最重要、正在使用的信息，直接放进上下文；如果历史信息太长，就先压缩，只保留当前任务真正需要的部分。

程序、计算结果和任务进度，则保存在一个持续运行的REPL里。可以把它理解成一个不会因为一次调用结束就清空的编程环境。Agent前面写过什么代码、算出了什么结果、任务进行到哪里，后面都可以直接接着用。

长期记忆、技能和提示词则放在外部存储里，不需要一直塞进上下文，需要的时候再取出来。

子Agent也是同样的设计。它们完成一次任务以后，并不会马上被“清空”。之前积累的上下文可以保留下来，之后再次被唤醒时，能够直接接着原来的工作继续做。

也就是说，Prime重新划分了Harness和模型之间的职责。这种设计的价值，在长周期任务里最容易体现。

Seth团队曾让Agent连续玩七天《异星工厂》。这是一款非常复杂的自动化经营游戏，玩家需要自己规划生产线、调配资源、解锁技术，而且过程中随时可能因为一次错误操作改变后续路线。

七天时间里，Agent一共调用了633个子Agent，产生超过2300万输出Token。最终完成了196项技术中的24项，并把下一项“高级电路”的研究推进到71%。

过程中还发生过一次严重失误，进度从已经完成5项技术倒退到只剩1项。但系统并没有因此清空状态、重新开始。

此前的程序、资源情况、任务记录依然保留着，模型可以根据新的局面重新判断下一步怎么走，然后继续推进。

这其实就是Harness在长周期任务里的核心价值。对长周期任务来说，中间会遇到大量无法提前预设的情况。模型需要根据当前结果自己决定下一步，而Harness负责把此前的状态和工作结果保存下来，让这些决定可以连续发生。

不过，给模型更大的自主空间，并不意味着Harness可以替代模型本身。

在ARC-AGI-3公开集上，Prime搭配Claude Opus 5的RHAE得分达到95.5%；换成Terra之后，只有25.7%。

同一套Harness，底层模型不同，结果仍然可以差出近70个百分点。

所以准确的说法是，Harness很重要，但它不能替代底层模型能力。它放大的是模型已有的能力，而不是凭空创造能力。

/04/

小模型不够强，全靠Harness来撑

还有一个更实际的场景，是个人AI的本地化。

今天大量个人Agent依赖云端大模型。写作、研究、编程、日程都可以交给它，但代价很直接——长期API费用可能达到数千美元，而且邮件、文件这些个人资料还要不断发到云端。

斯坦福研究者Jon Saad-Falcon在演讲中介绍的OpenJarvis，想解决的就是这个问题：尽可能把个人AI搬回自己的设备上。

麻烦在于，本地模型还没有强到可以直接替代云端模型。

Saad-Falcon提到，现在本地模型和最前沿模型之间，大概还有6—12个月的能力差距。而且这个差距，并不是把Claude换成一个开源模型就能解决。

他们做过一个很直接的实验：把OpenClaw和Hermes Agent原本使用的Claude Opus 4.6，直接换成Qwen3.5-9B，其他东西全部不动。结果两项测试的准确率分别掉了24.8和38.8个百分点。

那么问题来了，这个差距，能不能从模型外面补回来一部分？

OpenJarvis的思路是，把整个AI系统都纳入优化范围。它把个人AI拆成五层：模型选什么，模型怎么跑，Agent怎么工作，能调用哪些工具和记忆，以及系统后面怎么继续学习。

每一层都可以单独调整，再重新组合。比如，更强的云端模型可以先分析失败案例，判断问题出在哪，再帮本地系统修改配置；等优化结束后，真正每天运行的仍然是本地模型。

一句话就是，大模型负责判断，小模型负责执行。

效果如何？在Qwen3.5-9B本身完全不变的情况下，整套系统优化后，在上述两项测试中分别追回了约56%和77%的性能损失。

放到更完整的八项测试里，表现最好的一套本地方案平均准确率做到80.3%，而Claude Opus 4.6是83.5%，差距已经缩小到3.2个百分点。其中有四项测试，本地方案已经追平或者超过最好的云端结果。

更重要的是，这个结果是在很低的运行成本下做到的。按照这组测试的口径，本地方案的边际API成本大约只有云端的八百分之一，端到端延迟也缩短到了大约四分之一。

OpenJarvis证明了一件事，个人AI从云端走向本地，不一定要等到小模型完全追平大模型，Harness本身就可以先把一部分能力差距补回来。

/05/

Agent进了公司，Harness要管的是运维和权限

最后一个场景，是企业。

当Agent真正进入公司，问题就不只是"能不能干活"了。几十个Agent同时运行，它们怎么部署、怎么维护，能访问什么信息、又能修改什么，开始变得同样重要。

YC内部对Agent的探索从2025年初就开始了。最早只是系统提示词、工具和任务循环，后来陆续接入Slack、定时任务和虚拟机，让Agent可以修改代码、运行测试，甚至拥有类似"自己电脑"的工作环境。

但当YC把这套能力扩到全公司，问题马上出现了。

团队一度在虚拟机里部署了50多个Hermes Agent，每个人都要单独配置；某个Agent出了故障，工程师还得逐个登录对应实例去排查和修复。Agent数量一多，维护成本立刻就上来了。

YC的Josh France和Regan Bell介绍了他们内部开发的Harness——QM，就是为了解决这类规模化问题。

QM的核心改动是：不再让Agent"住"在某一台机器里。对话、上下文和长期状态被集中保存，虚拟机和隔离环境则变成需要时再调用的资源。Agent可以根据任务选择不同机器，甚至切换模型服务商。

到了这一步，Harness的角色已经不只是"给单个Agent接工具"了，而是开始负责一群Agent的状态、资源和运行方式。

但规模化之后，真实办公环境暴露了三个很难绕开的问题。

第一个，Agent会把局部问题当成全局问题。

YC曾尝试让Agent根据运行记录自己发现Bug、修改系统，效果好坏参半。团队把其中一种失败模式叫"主角综合征"：Agent只看到自己遇到的那一小块问题，却可能提出影响整个系统的修改。目前这类修改仍需人工把关。

第二个，Agent太容易提前放弃。

明明还有时间和工具，尝试几次之后就可能直接宣布任务失败。YC的做法是做了个Grind Tool——给任务设定最低运行时间或Token预算，在达到门槛以前不允许它结束。

第三个，也是最麻烦的，是权限。

Agent进入Slack之后，可以看到大量上下文，却未必真正理解哪些信息能告诉谁。人类知道同事私下说的话不能随便转进另一个群，但Agent如果没有明确的权限边界，敏感信息就可能在不同会话之间流动。

YC目前的做法是：大部分数据库权限保持只读，需要写入时先由Agent提出方案，再由人确认。

但人工审核也不是万能答案。随着员工越来越信任Agent，人可能逐渐习惯直接点击通过——审核本身也会退化成一道形式。

这意味着，企业Agent下一阶段真正要补的，可能已经不是更多能力，而是一套既能把Agent规模化跑起来、又能把权限真正管住的Harness。

过去两年，行业的注意力几乎全押在模型上。这没有错，模型仍然是地基。但接下来，差距会越来越多地产生在地基之上。

模型决定你能走多快，Harness决定你能不能一直走下去、走多远。