← 文章 / AI技术
Eugene Yan 8天前 · 2026-11-14 19:13:22 · 17 阅读

利用 LLM 保障源代码安全

使用 LLM 保护源代码

本文分享最佳实践,指导你如何使用 Claude Opus 构建威胁模型、发现代码库中的漏洞,并对这些漏洞进行验证、分诊和修补。

  • 分类最佳实践
  • 日期2026年5月27日
  • 阅读时间25 分钟
  • 分享复制链接

目录

  1. 查找与修复循环
  2. 1. 威胁模型:定义什么算作漏洞
  3. 2. 沙盒:安全运行代理并验证可利用性
  4. 3. 发现:提供丰富上下文、更短的提示词和实用工具
  5. 4. 验证:过滤不可利用的发现
  6. 5. 分诊:按根本原因去重,按前提条件和影响程度排序
  7. 6. 修补:闭环并优化下一周期的上下文
  8. 入门
  9. 后续行动
  10. 致谢

模型能力正在快速且不均衡地演进。我们一直与安全团队合作,在其自有代码和开源软件中查找并修复漏洞。这项工作让我们更清楚地了解如何使用模型来保护源代码。我们的核心发现:发现过程现在很容易并行化,瓶颈已转移至验证、分诊和修补环节。

为了说明这种差异,在我们对开源软件的扫描中,截至 2026 年 5 月 22 日,我们已披露了 1,596 个漏洞。据我们了解,其中仅 97 个已被修补。

本指南将介绍如何借助 Claude Opus 构建威胁模型、发现代码库中的漏洞,并对其进行验证、分诊和修复。我们虽无法给出所有答案,但会分享团队在规模化漏洞发现以及后续阶段中的实战经验。现在就可以通过配套仓库上手,其中包含用于交互式工作流的 skill 和用于自主扫描的演示框架;阅读过程中我们会指出每一步对应的 skill。

「发现并修复」循环

漏洞发现与修复成效最好的团队,都在现有最佳实践的基础上形成了类似的流程。我们将其归纳为六个步骤:

  1. 威胁建模:在开始扫描前,先明确什么算漏洞。
  2. 沙箱环境:搭建沙箱来隔离 agent,并用于验证漏洞可被利用。
  3. 漏洞发现:让模型在源代码中查找漏洞。
  4. 验证:独立确认哪些发现确实可被利用。
  5. 分诊:对发现去重、评定严重程度,并排列修复优先级。
  6. 修复:应用修复补丁,确认漏洞已消除,并排查同类变体。
威胁建模和沙箱搭建是一次性投入,却能支撑防御者的循环——发现、验证、分诊、修复的不断重复。此时瓶颈不再是发现漏洞,而是漏洞发现之后的一切环节。

前两步——构建威胁模型和沙箱——是整个循环的基础准备,通常每个代码库只需做一次,底层系统变化时再回顾更新。后四步则是针对源代码持续运行的循环:发现、验证、分诊、修复。

对代码库的首次扫描通常发现的漏洞最多。后续扫描发现的漏洞往往更少——但也更复杂,因为简单的问题在之前的扫描中已修复。不过别指望第 n 次扫描就没有新发现了。模型具有随机性,大型代码库中漏洞的长尾会持续出现,即使代码没有变化也是如此。

首次针对某个代码库进行迭代时,应多次运行该循环,并根据新发现的漏洞数量以及你对该系统的风险承受度来决定何时停止。完成首轮迭代后,应持续进行扫描,时机可选择定期执行,或在代码发生实质性变更时执行。

接下来,我们将逐步详细讲解每个环节,阐述其重要性、产出内容以及具体实现方法。

1. 威胁建模:定义什么才算漏洞

误报最常见的原因是模型未能充分理解你的信任边界。模型可能会将代码标记为存在漏洞,因为它假设客户端可能发送损坏的值或攻击者可能控制配置,尽管这些输入在你的环境中本是可信的。反之,模型也可能假设面向互联网的服务仅限内部访问,从而漏报真正的漏洞。在这两种情况下,模型对威胁模型的判断错误了,而非代码本身有误。

“一个团队在其发现结果中注意到一种模式:在威胁模型、系统设计文档、需求及约束条件记录完善的系统上,模型的表现最佳。当威胁模型定义清晰时,模型的发现‘90% 具有可利用性’。”

你可以利用 Claude 通过两个步骤来构建威胁模型:

首先,从代码、文档和漏洞历史中进行引导。 将你在第一天交给新入职安全工程师的资料喂给模型:架构文档、维基页面、入口点、Git 历史以及过往漏洞。这有助于克服仅凭代码推断隐性知识、权衡取舍和设计决策的挑战。然后,要求模型创建一份包含系统上下文、资产、入口点和信任边界的威胁模型。最后,让模型对过往 Bug 进行聚类,并列出相关的漏洞类别。务必确保威胁模型中记录了哪些漏洞是你关心或不关心的,以及原因所在。

“有团队回顾了数百条过往的 CVE 和安全修复 commit,提炼出“bug 形态”提示,然后向模型提两个问题:这个修复是否完整?是否在其他地方也需要同样的修复?他们一小时内就发现了三个可利用的问题。正如他们所说:“‘过去人们利用过什么漏洞’有时是比‘帮我找出这个代码库里的漏洞’更容易走通的捷径。””

其次,让模型去访谈熟悉系统的人。可以参考 Shostack 的四个问题:我们在构建什么?可能出什么问题?我们怎么应对?我们做得好不好?先运行 bootstrap 步骤,让受访者不用从零开始。这样他们不必花几个小时调研并从零构建威胁模型,而是在一份草稿的基础上完善。访谈这一步虽是可选的,但它能补充模型无法从代码和文档中获得的信息,让威胁模型质量更高。

以下几个实践会带来很大不同:

  • 关注依赖项目的安全策略。很多开源项目都会发布自己的安全策略,比如 vLLM 的 security.md、SQLite 的 “Defense Against the Dark Arts”,以及 ImageMagick 的安全策略。你的威胁模型应当直接参考这些内容,而不是从零重写一套。
  • 明确说明哪些是可信的。如果你信任配置文件或已认证的客户端,就要在威胁模型中记录下来。这些假设有助于区分无法利用的普通 bug 和真正的可利用漏洞。
  • 在代码库中放一份 THREAT_MODEL.md。随代码变更及时更新。这样发现 agent 在搜索前可以先读它,跳过已知的不构成问题的部分。

威胁模型会在两个环节派上用场。在发现阶段作为范围:划分代码、排定优先级、跳过范围之外的部分——这对无法完整扫描的大型代码库尤其有用。在分诊阶段作为过滤器:在大范围扫描之后,用威胁模型更准确地校准问题对你系统和环境的严重程度。

“一个团队在扫描大型项目时,误报率高达 40%,于是深入调查了原因。结果证明这些发现是可以复现的,且 PoC 证实了漏洞的可利用性。但负责该代码的开发团队认为,这些 bug 不符合项目的威胁模型,因此将其归为误报。另一个团队的 CISO 对此总结得很精辟:‘[模型对代码有]良好的上下文理解,但对我们(业务场景)缺乏良好的上下文理解。’”

尝试使用 threat-model skill。 它会引导你完成本节描述的这两个步骤——bootstrap 基于你的代码、CVE 和 git 历史生成草案,interview 则引导系统负责人通过 Shostack 的四个问题对其进行细化。输出是一个 THREAT_MODEL.md 文件,供后续的 Discovery 和 Triage 步骤使用。

2. 沙箱:安全运行 agent 并验证可利用性

沙箱的一个主要目的是保护你的系统。 为了支持模型安全自主地运行,需要一层强隔离。否则,agent 可能会偏离目标,做出意想不到的事情。

“有一个团队告诉模型它没有网络访问权限——但实际上有——结果模型发现它仍然可以从 GitHub 获取数据。另一个团队观察到某 agent 在扫描过程中中途回答了 GitHub issue。这两个行为都不是恶意的,但都表明需要通过代码和配置来强制实施约束。”

让隔离级别与你的威胁模型相匹配。对于读取代码的 discovery agent,容器就足够了;但要运行目标及其 PoC,请使用 microVM(如 Firecracker)或完整 VM,并严格限制出站流量,确保任何内容都无法触达生产系统。同时,切勿让 agent 接触到任何凭据(如 ~/.aws、~/.ssh、.env)。

仅在设置沙箱期间为其提供网络访问。拉取依赖、构建、安装工具、部署目标并运行现有测试以确认一切正常。然后,快照该环境并移除其网络访问权限。在扫描期间,仅允许流量流向模型 API,且必须通过本地代理路由。每次运行开始时加载快照,确保每次扫描都从相同的干净状态开始。

沙箱的另一个作用是验证漏洞是否真的可利用。静态扫描时,模型只是阅读代码并推测哪里可能出问题,但无法验证攻击路径是否可达、是否已有缓解措施。因此模型可能会误报一些实际无关紧要的代码正确性缺陷。当团队搭建沙箱让 agent 能够编译代码、跑测试、运行 PoC 后,不可利用的误报明显减少了。

“某进攻安全团队搭建了一套测试床(test bed),并定了一条简单的验证规则:只有当 agent 能构建出 PoC 并在测试床上成功运行,才算真正的阳性发现。六周后他们总结道:『效果最大的杠杆就是给模型提供测试床、真实系统,并让它实际运行 PoC。』”

搭建沙箱时,要尽量固定所有环境要素,保证每次运行都在相同环境中使用相同代码:镜像 tag、commit SHA、依赖和构建命令都要锁定。同时在本地缓存副本,让构建过程无需访问网络,并尽量让容器持久化,方便多轮测试循环直接复用。

“有个团队的扫描曾报出一个漏洞,后来发现其实是 agent 下载了旧版本依赖库、与线上实际部署不一致导致的。是一位工程师翻看执行记录时发现下载的依赖不对才识别出来。现在他们构建 Docker 容器时会把依赖锁定为与生产环境一致,让发现漏洞的 agent 和验证漏洞的 agent 都基于攻击者实际面对的同一套产物来工作。”

沙箱必须足够贴近生产环境。如果缺少某些依赖(如消息队列或数据库),可能会漏报生产环境中真实存在的漏洞;反之,如果忽略了生产环境的防御措施(如 WAF 或认证网关),模型又会报告一些生产环境已经拦截、根本无法利用的误报。

然而,若因云依赖、数据存储或其他现实复杂性导致搭建代表性沙箱不切实际,不妨先从发现阶段(见下文)入手。其实不必非在沙箱里跑 PoC 不可,前沿模型仅凭分析源码就能发现漏洞。包括我们团队在内的多支队伍已证实这种方式行之有效。权衡之处在于验证阶段:没有运行中的目标就无法用 PoC 证明发现,因此需为验证预留更多时间。待发现数量达到一定规模、证明投入沙箱值得时,再回头补建沙箱也不迟。

参考沙箱实现请见 harness 的 README.md。在此实现中,agent 与目标均运行在 gVisor 隔离容器内,出口流量被锁定至模型 API。目标基于锁定到特定 commit 的 Dockerfile 构建,由 setup_sandbox.sh 负责初始化。

3. 发现阶段:提供丰富上下文、精简提示词、配备实用工具

让发现 agent 能按需加载上下文,如威胁模型、架构文档、过往扫描结果等。当 agent 理解你的信任边界与系统实际部署方式,便更能识别出该系统特有的漏洞。

在发现阶段,我们发现前沿模型在提示词越来越精简时反而表现更好。反直觉的是,过于指令式的提示词会拖累发现效果——冗长的检查清单往往会限制模型创造力,导致更少新颖的 bug。以下是发现阶段有用的提示词技巧:

  • 交代目标与上下文。说清「为什么扫」和「扫什么」——扫描动机、有价值的发现长什么样、扫的是哪个系统——而把「怎么找漏洞」交给模型。前沿模型做安全任务的能力越来越强,过度指令化反而会收窄其探索方向。
  • 指定要查找的漏洞类型。如果你希望根据历史 CVE 或代码库所用语言,聚焦某一类漏洞,直接说明即可。描述这类漏洞的特征、作用和常见藏身之处,让模型能在你的代码库中识别它们。
  • 定义输出格式。要求模型生成包含预定义字段的结构化报告,并合理安排字段顺序,让模型的推理逐层递进。字段可以包括分析理由、发现、影响、严重程度等。同时设置一个退出机制,让模型可以及早放弃较弱的发现。

给模型配备搜索和阅读代码库的工具,比如 grep、glob 等。也可以让它使用团队常用的安全工具,如 SAST 扫描器或 fuzzer。可以直接问模型某个任务需要哪些工具,然后把它们提供给它。最后,允许模型按需自行编写工具:近期的前沿模型已经越来越擅长编写自己所需的工具。

“除了源代码之外,一个渗透测试团队还为发现 agent 配备了发送请求、检查响应和查询流量日志的工具。这样一来,agent 无需猜测某个路径是否可达,而是可以在推进过程中对每个候选路径直接在运行中的应用上测试,把真阳性率提升到了接近 100%。”

让模型先对系统做一次粗扫描,按攻击面、端点或组件等方式划分搜索空间。然后把这些划分结果分配给多个并行的发现 agent,避免它们都收敛到同一批浅层 bug 上。最后,再执行一轮系统级扫描,以各分区的发现作为上下文,进一步搜索漏洞。

“试图暴力推进发现工作的团队很快就遭遇了边际收益递减。有团队反馈:“我们最初尝试单纯横向扩展、加派更多 agent,但收益很快就到顶了。”另一个团队增加了聚焦区域和并行 agent 的数量,结果得到“海量问题”,但其中大多是重复的。”

如果已有用于运行目标的沙箱环境,可以让发现代理为已发现的问题构建一个 PoC(概念验证),例如一段脚本、一个导致崩溃的输入或一个失败的测试用例。构建 PoC 有助于代理进行迭代并精确锁定问题所在,生成的交付物也为验证代理提供了可评估的具体证据。不过,那些代理无法复现的问题依然可以上报,只需标记为“未证实”,以确保召回率始终维持在较高水平。

vuln-scan 技能在此阶段非常有用。它会读取你的 THREAT_MODEL.md 文件,将目标代码划分为若干重点领域,并为每个领域派出并行的审查代理。输出结果是结构化的发现,可直接被后续步骤消费。

4. 验证:筛除不可利用的误报

发现阶段优化的是召回率,验证阶段优化的是精确率。换言之,发现阶段应尽可能多地找出漏洞——哪怕是一些不太可能被利用的——而验证阶段则要剔除那些实际上不可利用的发现。如果让代理在同一阶段内同时完成发现与验证两项任务,它可能会自我审查,错误地将可利用的真实漏洞过滤掉。我们曾为此吃过亏:要求发现代理同时验证问题,导致那些本应被独立验证步骤确认的真实漏洞被其过滤掉。

验证代理必须与发现代理相互独立。应在一个全新的容器中运行验证代理,且不得共享文件系统或对话历史。如果验证代理接触到发现代理的推理过程,它可能只是一味附和,而不是去实际检验该主张。因此,只应提供给验证代理:(1)PoC 或书面发现记录,(2)代码库。这样它才能主动查找发现代理遗漏的缓解措施(如上游校验、认证门槛、类型约束或不可达代码)。

如果单次验证仍无法有效筛除大量不可利用的误报,可尝试运行多个独立的验证代理。它们可以从不同角度审视,或使用不同的模型。随后,通过多数表决得出结论。也可考虑引入一个独立的评审员,在发现与验证代理之间进行裁决。

让验证 agent 试图推翻发现 agent 的结论。要求 verifier 把每条发现都当作误报来对待,主动寻找发现可能出错的理由。同时提供清晰的判定标准,让 verifier agent 能据此判断发现是否属实。这在发现 agent 的输出不含 PoC 时尤为重要。目标是尽可能排除不可利用的发现,减少人工审查的工作量。

“在我们合作过的团队中,加入对抗式 verifier 后,发现阶段产出的不可利用发现数量大约减少了一半。如果再要求 verifier 构建证明漏洞可利用的 PoC,误报率可以降到接近零。这两个步骤一起显著减轻了后续的分诊和修复压力。”

如果你能在沙箱中充分还原生产环境(见第 2 步),可以让 verifier agent 构建并执行可复现的概念验证(PoC)。如果 PoC 跑通了,就可以认定该发现可利用。但反过来不成立——PoC 跑不通并不能证明这是误报。

“一个扫描开源包的团队搭建了闭环的验证流程:扫描包、生成 PoC,然后部署一个使用该包并触发 PoC 的模拟应用。他们的体会是:"验证才是最大的瓶颈,而 PoC 就是验证本身。"”

5. 分诊:按根因去重,按触发条件和影响排序

验证是确认发现确实可利用,而分诊则是评估修复的优先级。过去发现漏洞很费功夫,找到 bug 的工程师通常顺手就完成了分诊。如今模型在午饭前就能找出一百个候选漏洞,分诊反而成了瓶颈。

合理的分诊能避免告警疲劳。如果提交的 bug 数量太多,又充满重复或夸大严重性的条目,产品工程师可能干脆不看了——连真正需要立即修复的也被淹没。开源维护者尤其容易被未经分诊的报告压垮,因为依赖其软件的用户来源众多、报告不断。

“多个团队分享了同样的教训:如果我们向产品工程师发送一堆漏洞报告,其中大部分都无法被实际利用,他们就会对报告失去信任,最终弃之不用。因此,各团队都会优先处理关键和高危漏洞,以免压垮下游的工程师。另有团队发现了一个行之有效的办法:将模型指向现有的积压队列——包括早期扫描器、早期模型留下的未处理漏洞,以及漏洞赏金计划提交的线索——结果在几天内就清理了数百条过时的问题。”

在去重漏洞时,应考虑根本原因。扫描器往往会在多个调用点标记同一个 bug,或者报告由单一根本原因引发的多种症状。这里有一个实用的方法:首先,使用低成本的决定性过滤:同一文件、同一类别,且漏洞行号相距在十行以内。然后,让模型对剩余项应用定性规则:

  • 视为重复:同一根本原因但措辞不同;同一漏洞在多个调用点被报告;缺失的全局保护(如身份验证检查)在每个端点被单独报告;或在同一路径中被标记的某个原因及其后果。
  • 视为独立:同一文件中的不同漏洞类别;不同变量到达不同 sink;一个 helper 内部存在两个独立的 bug;两个端点缺失相同的检查,但各自需要独立的修复。

如果你的测试框架为每个漏洞生成了 PoC 和补丁,另一种去重方法是检查针对某个漏洞的补丁是否也能使其他漏洞的 PoC 失效。

去重后,基于以下因素评估每个漏洞的严重性:

  • 可达性。攻击者能否从真实的入口点到达此代码,还是它只能从内部代码和端点访问?
  • 攻击者控制。不可信输入是否完好地到达 sink,还是上游有对其进行清洗或约束?
  • 前置条件。触发 bug 需要满足什么条件:非默认设置、特定的功能开关,还是攻击者必须命中的狭窄时间窗口?
  • 身份验证。未认证的触发是否可行,还是它需要一个登录用户或管理员?
  • 读与写。攻击者只能读取数据,还是也可以修改数据?
  • 影响范围。如果 PoC 成立,波及的是谁?一个用户还是所有用户,单个租户还是整个平台,用户态还是内核?

要把评分标准变成分数,可以先让模型在判定严重等级之前,把每个问题的答案写出来。先梳理证据,能避免模型锚定在漏洞类别上(“SQL 注入,那就是 critical”),再反过来抬高严重等级去凑。可以作为起点的是:零前提条件且可未认证远程访问的定为 critical 或 high;有一两个前提条件,或需要认证才能触发的,定为 medium;三个及以上前提条件,或仅限本地触发的,定为 low。具体阈值可根据你的系统调整。

模型高估严重等级,往往是因为上下文不足。它们可能不清楚攻击者实际能控制哪些输入,也看不到已有的补偿性防护。前者举个例子:SQL 注入若由未认证请求触发就是 critical,但若只能由管理员专属的配置文件触发,就根本不算问题。后者的例子是:上游的 WAF 或认证机制能阻止利用,但仅凭源码是看不到这些的。

解决办法是在分诊阶段提供一份威胁模型,告诉模型你的系统里哪些漏洞类型需要关注、哪些不需要。例如,明确说明“我们信任已认证的客户端”,就能简化甚至直接消除一整类 critical。

“有团队发现,模型在没有可验证依据或缺乏威胁模型上下文时往往过度自信。他们的解决办法是给分诊 agent 配上和发现 agent 相同的威胁模型。”

试试triage skill。它同时覆盖验证和分诊:对每个发现做多轮投票验证、跨运行去重,并根据推导出的可利用性重新排序。最终输出的是一份简短、按优先级排列、责任到人的清单,而不是一坨原始数据。

6. 修复:闭环收尾,并为下一轮优化上下文

修复是闭环的最后一步——把漏洞真正修掉。这一步也可以基于已验证的发现来完善威胁模型,比如更新信任边界、标记需要重点审查的组件,并把过往发现喂给下一轮扫描作为上下文。每一轮迭代都会让代码库更坚固,也让下一次扫描更有依据。

在应用补丁之前,先编写一个新的测试用例,确保它在现有代码下必然失败。随后实现修复,并验证该测试用例能通过且不影响其他功能(没错,这就是测试驱动开发)。如果跳过添加测试这一步,修复可能会在后续版本中悄悄失效,届时要追溯证明该 Bug 真实存在会变得非常困难。

“一名渗透测试人员发现生成的补丁质量参差不齐——有的很完美,有的则漏洞百出。直到测试框架指导模型将概念验证(PoC)在打过补丁的代码上重新运行,用于验证补丁的有效性。当模型能够基于反馈进行迭代后,补丁质量显著提升,大幅减少了人工审查的时间成本。”

模型往往只针对特定调用点的具体发现进行修补,而忽略了根本原因。单纯提示模型去识别并修复根本原因是有效的。接下来,让模型在两个层面寻找类似变种:(1)相同模式,即代码库其他位置是否存在相同缺陷代码的其他调用点或副本;(2)同类缺陷,即存在一个 SQL 注入漏洞的代码库,往往更容易出现其他 SQL 注入漏洞。根据已验证的发现及补丁更新威胁模型,从而形成闭环。

在发布补丁前,执行一次对抗性检查。让一个新的发现代理扮演攻击者角色来探测该补丁,以确认其覆盖全面。然后简化生成的补丁,以解决补丁侵入性过强的问题。最小化的补丁更易于审查,且引入新 Bug 的概率更低。提示模型寻找能修复根本原因的最小变更——不要重构、不要顺手清理、不要重新格式化。

“某团队在讨论最常见的补丁失败案例时表示:‘建议的补丁往往过于限制,甚至会导致与其他服务的连接中断。它确实解决了问题,但同时也破坏了使该服务正常运行所依赖的关系。’”

你可以按照以下阶梯式检查流程验证每个补丁,从成本最低的步骤开始:

  1. 构建。补丁编译通过且新测试用例通过。
  2. 复现尝试。原始 PoC 应无法再触发漏洞。此步骤可捕获无效的补丁。
  3. 检查回归。原有测试套件仍需通过。此步骤可捕获导致系统损坏或限制过严的补丁。
  4. 再攻击。一个新的发现代理执行对抗性检查。此步骤可捕获不完整的补丁。

最后,即使模型能写出补丁,责任仍然要由人来承担。生成的补丁可能会以可预见的方式出错——只治标不治本、误拦合法输入,或者切断了某个依赖服务的访问。我们的目标是尽可能验证每个补丁,让人工审查的工作量降到最低,帮助开发团队把精力放在模型可能不了解的细节上(比如即将到来的变更、代码风格),只需对补丁做少量审查和修改。

试试 patch skill。它读取分诊结果,为每个发现生成候选 diff,并由独立的 reviewer agent 逐一检查。

开始上手

自己跑一遍这个流程吧。克隆 defending-code-reference-harness,在 Claude Code 中运行 /quickstart。它会引导你在一个演示目标上完成交互式工作流,从威胁建模到扫描再到分诊。仓库里还包含一个自主运行的 harness,以及一个 /customize skill,可以针对你的环境更新 harness。

然后把它用到自己的代码上。选一个服务或软件包,基于代码和文档搭建威胁模型,完成访谈流程。花点精力构建一个模拟你环境的 sandbox。开始扫描,用独立 agent 验证发现的问题,按你的标准做分诊,审查所有评级为 high 及以上的项,生成补丁,之后定期重新扫描。

第一次扫描发现的问题会比想象中多,大部分都需要验证和分诊。在为更多扫描做预算之前,先为扫描之后的整个流程留出足够预算。

以下资源或许对你有帮助:

原始来源: Eugene Yan

评论 (0)