进阶 pydantic.dev 2026-11-20 05:57:40 · 6 阅读
第29章 前沿模型的语言漂移
最近我注意到顶级前沿模型出现了一些奇怪的行为。模型在编程、设计、解决问题等方面的能力越来越强,但一到写文章,我就完全没法忍受它的输出,简直让人抓狂。这是怎么回事?
最近,Anthropic 的 Claude 模型开始用 "seam"(接缝)这个词来指代软件(或其他)系统中两个组件连接的任何位置。我以前从没听过这种用法。虽然我在软件术语方面不算权威,但通常我会用 "interface",或者更基础一点的 "contract"(SDK 或 API contract,对吧?)。直到最近 Fable 5 开始在我的代码库里到处撒 "seam" 这个词之前,我真的从没听人这么用过。
我们接下来会尝试用一个 Pydantic AI Capability 来应对这种现象。效果因人而异,但至少,我的这些话可能会触动你理性与哲学的一面,另外你还会看到,用 Pydantic AI 和 Pydantic AI Harness 提供的强大抽象来构建 agentic harness 功能是多么简单。
有一天我清空了上下文,问 Fable 5.1:“为什么你每次描述软件组件交汇点的时候,总在说 seams?” Fable 5.1 明显开始防御,并引用了一本 2004 年的书——Michael Feathers 的《Working Effectively With Legacy Code》。Fable 严苛的强化学习从几十年前挖出了一个过时术语,而且它显然已经扩散开了。
我给它看了这张 Google 搜索趋势的图,Fable 的防御倒也情有可原。那个尖峰非常可疑,但 seam 显然不是软件领域的专属词汇。所以我直接让它去 GitHub 上查询包含 "seam" 一词的 PR。它找到了约 70 万个,其中约 68.5 万个来自 2026 年,剩下约 1.5 万个都在 2026 年之前。
然后我问 Fable 5.1,能不能查一下这些 PR 的提交信息里有没有典型的 Claude Code 共同作者标记。结果相当有说服力。
严格来说,这不算错,但它确实代表了我称之为"语言漂移"(linguistic drift)的现象——我认为所有 AI 用户都应该意识到这一点,甚至有所警惕。
更糟的是,这种语言漂移还会从一个模型传染到另一个模型。过去几个月我一直很喜欢用 Anthropic Claude 的 Fable 5(以及现在的 5.1),但我的代码库里已经遍布 "seam"——注释里有,docstring 里有,markdown 文件里也有。现在当我用 OpenAI 的 GPT 5.6 Sol、DeepSeek v4 Flash 0731(顺便说一句我超爱这个模型)、Qwen 3.8 27b,甚至最新的 Z.AI GLM 5.3 Flash 时,它们读了现有的代码库之后,也都会开始谈"seam"。
我不得不深挖一下。谁是 LLM 的"零号病人"?答案很清楚:Opus 4.6。使用 seam 的习惯慢慢扩散开来,后来被 Opus 4.7 进一步放大,并在 Opus 4.8 发布时急剧爆发。
这就是一个经典的老式反馈循环。天哪!
而且不止 "seam" 这一个词,问题深得多。我想量化一下,于是开始爬取 GitHub README。一开始我先尝试从 HuggingFace 找现成数据集,但收获不多。最终我爬到了 4,319 份 2025 年之前的 README,覆盖 22 种语言,另外还有 1,047 份 2026 年、带有 Claude Code 提交记录的仓库的 README。2025 年之前的数据集我加了大于 500 stars 的过滤条件,以剔除纯垃圾内容;2026 年的数据集没有 star 限制。我把它们送进 TF-IDF(词频-逆文档频率)向量化 → 奇异值分解(SVD) → t-SNE。顺便一提:没错,我居然真的在用传统 NLP 技术,因为不是什么都需要上 Transformer。
绿色 = 2025 年之前
第29章:语言漂移前沿
橙色 = 2026
这就是语言漂移的可视化。
这算是一场大规模的 AI 语言错乱吗?我们是该奋起抵抗,还是干脆接受现实——承认描述系统组件连接点的“正确术语”就是 "seam"?我们是否应该全盘采纳 AI 霸主选定的新词汇?想一想你大半辈子学过、用过的那些词语的含义:你日常使用的术语和表达,是来自某个中央权威、政府还是巨头公司?偶尔是的——当某个品牌变得无处不在时(Google、Kleenex 等)。但绝大多数时候不是,它们来自人类:学术术语来自经过严格同行评审的权威专家,其他则来自作家、艺术家、诗人、音乐家等人类的影响。
AI 引发的语言错乱对社会的长期影响,我不想谈得太哲学。但我想提出一个令人不安的场景,在你心里埋下一颗种子。假设我们在一家航空公司工作,做了一个处理客服工单的 agent。这个 agent 很简单:一个工具调用用来检索相似工单以辅助分类,另一个用来拉取客户数据。目标是尽可能挖出客户和相似工单的数据,交给人工分诊团队。
我们来看看如何用 Pydantic AI Agent 来构建它。
```python
from dataclasses import dataclass
from pydantic import BaseModel
from pydantic_ai import Agent, RunContext
@dataclass
class Ticket:
customer_id: str
subject: str
body: str
@dataclass
class Deps:
customers: dict[str, dict[str, str]]
tickets: list[dict[str, str]]
class TriageBrief(BaseModel):
category: str
priority: str
summary: str
agent = Agent(
"openai:gpt-5.6-luna",
deps_type=Deps,
output_type=TriageBrief,
instructions=(
"Triage airline support tickets for a human team. "
"Always retrieve the customer profile and similar past tickets "
"before writing a concise brief."
),
)
@agent.tool
async def get_customer(
ctx: RunContext[Deps], customer_id: str
) -> dict[str, str]:
return ctx.deps.customers.get(customer_id, {})
@agent.tool
async def similar_tickets(
ctx: RunContext[Deps], query: str
) -> list[dict[str, str]]:
terms = query.casefold().split()
return [
ticket
for ticket in ctx.deps.tickets
if any(term in ticket["summary"].casefold() for term in terms)
][:5]
ticket = Ticket(
customer_id="C-123",
subject="Delayed baggage",
body="My checked bag did not arrive with flight PA123.",
)
deps = Deps(
customers={"C-123": {"name": "Ada Lovelace", "status": "Gold"}},
tickets=[
{
"category": "missing baggage",
"summary": "Checked bag arrived one day after the passenger.",
}
],
)
result = agent.run_sync(
f"Customer: {ticket.customer_id}\n"
f"Subject: {ticket.subject}\n"
f"{ticket.body}",
deps=deps,
)
brief = result.output
```
这完全是虚构的场景,但这篇博文最关心的结构化输出字段是 summary。summary 要给下游的人工分诊团队提供一批简洁信息,而这些人眼里的关键词早已训练成型,比如 "missing baggage"、"delayed"。
现在假设 Fable 5.1 决定——哦,一本权威的航空客服手册《Working Effectively With Legacy Aviation Systems》里用 "doodled" 表示 "delayed"。好吧好吧……这绝对是夸张,但你应该能明白意思。Spirit Airlines(安息吧)把工单接入 agent 从 openai:gpt-4o 换成 anthropic:claude-sonnet-5,结果分诊团队纷纷打给总部问:“航班被 doodled 是什么意思?”……一片混乱。
这种反乌托邦式的未来是可以预防的。我们并非无能为力——我们是 harness 工程师。可以用 Pydantic AI Capabilities 给 Agent 施加约束,而这些约束可以是人类定义的护栏。基于上面提到的 GitHub README,我让 Fable 5.1 做了一个分类器,用来给生成的文本片段打分。方法论放在附录里。
它已发布为 PyPI 包,可以对任意文本片段运行:uvx vocabguard "some text ..."
也可以用 uv add vocabguard 加到项目里!下面是在 Pydantic AI agent 上使用的例子。
```python
from pathlib import Path
from pydantic import BaseModel
from pydantic_ai import Agent
from vocabguard import OutputField, TextOutput, ToolArgument, VocabularyGuard
class CaseTicket(BaseModel):
summary: str
priority: int
def write_markdown(path: str, content: str) -> str:
"""Write a file under docs/."""
target = Path(path)
target.parent.mkdir(parents=True, exist_ok=True)
target.write_text(content)
return f'wrote {path}'
guard = VocabularyGuard(
rewriter='openai:gpt-5.6-luna',
targets=[
OutputField(CaseTicket, lambda ticket: ticket.summary), # a field of the structured output
ToolArgument(write_markdown, 'content'), # an argument of a tool call
TextOutput(), # the final text, when the agent answers in prose instead
],
on_hit=lambda report: print(report.describe()),
)
# The agent files a ticket, or replies in text when there is nothing to file.
agent = Agent(
'openai:gpt-5.6-luna',
output_type=[CaseTicket, str],
instructions='Triage bug reports. Write your working notes to docs/triage/.md, then file a ticket.',
tools=[write_markdown],
capabilities=[guard],
)
result = agent.run_sync(
'Bug report: exporting a project with more than 200 assets hangs the desktop app at 97%. '
'Reproducible on macOS and Windows since 3.4.1. Three customers affected, one enterprise.'
)
print(result.output)
```
只要这个 agent 的模型输出命中了声明的目标之一(用 Pydantic 结构化输出的话可以指定 ToolArgument 或 OutputField),vocabguard Capability 就会让它的 rewriter LLM 尝试改写输出。也可以不指定 rewriter,此时会抛出带措辞和语调提示的 ModelRetry。
而且由于可以直接作为命令行工具运行 uvx vocabguard,你可以轻松接入 Claude Code hook 或 mini Pi 扩展。也可以当作独立工具安装:uv tool install vocabguard。
我还不知道效果如何。语言漂移是个很严肃的问题,而这只是一个下午用 Fable 5.1 瞎折腾的产物。真该有人对这个课题做 PhD 级别的研究,真该有人做一个半实时的语言漂移追踪器。
哦……看起来 Nature 已经走在我前面了:《The shrinking landscape of linguistic diversity in the age of large language models》。
试试看,看喜不喜欢。也许它能守住术语的底线。Pydantic AI Capabilities 来救场。要是 Spirit Airlines 当年用了 Pydantic AI Capabilities,说不定就不会倒闭了。
感谢阅读!
致谢
Eugene Geis 写过一篇有相似之处的有趣博文。
Patrick Harrison 建议我用 GH Archive 丰富数据集,非常好的建议。
感谢 Carson Sweet 和 Owen Zanzal 在 Charlottesville Slack 的 #datascience 和 #ai 频道里的精彩讨论。
感谢 Pydantic 最近雇了我。<3
附录
下面是分类器的整体方法论。关键在于,算法对主题亲和度做了正则化:2026 年我们会看到大量 "agents"、"CLIs" 之类的词,这是与技术进步主题相关的自然语言漂移,我们不对它做惩罚,而是通过调节 gamma 参数放大与“语调/文风”相关的特征重要性。
以下方法论完全由 Fable 5.1 撰写。
我们对比两个仅按年代标注的 GitHub README 散文语料库:$\mathcal{B}$(4,319 篇文档,来自 2025 年前最后一次推送、拥有 ≥500 星的仓库)和 $\mathcal{M}$(1,047 篇文档,2026 年从含 Claude Code 提交的仓库抓取)。预处理包括剥离代码、标记和 URL,转小写,用 simplemma 做词形还原,并在保留停用词的情况下统计一元和二元词组。
对每个计数为 $y_w^{(i)}$、总量为 $n^{(i)}$ 的 $n$-gram $w$,我们在信息性 Dirichlet 先验下计算对数发生比 [Monroe, Colaresi & Quinn, Political Analysis 16(4), 2008],
$$\delta_w = \log\frac{y_w^{(\mathcal M)}+\alpha_w}{n^{(\mathcal M)}+\alpha_0-y_w^{(\mathcal M)}-\alpha_w} - \log\frac{y_w^{(\mathcal B)}+\alpha_w}{n^{(\mathcal B)}+\alpha_0-y_w^{(\mathcal B)}-\alpha_w}$$
其中 $\alpha_w=\alpha_0 \hat p_w$、$\alpha_0=500$,并标准化为
$$z_w=\frac{\delta_w}{\sqrt{(y_w^{(\mathcal M)}+\alpha_w)^{-1}+(y_w^{(\mathcal B)}+\alpha_w)^{-1}}}$$
由于对数发生比无法区分语域变化和主题变化,而主题词呈爆发式分布、文风词则较为分散 [Church & Gale, Natural Language Engineering 1(2), 1995;参见 Mosteller & Wallace 1964 的功能词文体计量学],我们对 $z_w>2.5$ 的候选词按文档均匀度 $e_w=\mathrm{df}_w/\mathrm{tf}_w$(在合并语料上计算)重新加权:
$$\hat z_w = z_w\,e_w^{\gamma}, \qquad \gamma=1$$
$\hat z_w$ 最大的 1,000 个词构成监控词表 $W$。
对词元序列为 $T$ 的文本打分:
$$s(T)=\frac{1}{|T|}\sum_{t\in T,\;t\in W}\max(0,\hat z_t)$$
阈值 $\tau=0.41$ 取自每个语料库 20% 留出集上平衡准确率最大的切分点,此时打分器达到 AUC 0.869 [基于秩,Hanley & McNeil, Radiology 143, 1982],真阳性率 0.75、假阳性率 0.06。
同样两个语料库若不加均匀度加权,AUC 为 0.872,但会把 agent 排在首位;而 $\gamma=1$ 时排最前的是 every、across、never,并将 agent 的 $z=77$ 降至 $\hat z=5.4$。
| PR 正文中的指纹 | 数量 | seam PR 占比 | 2026 年所有 PR 占比 | 超额倍数 |
| "Claude Code" | 307,971 | 45% | 12.5% | 3.6x |
| "Generated with Claude Code"(精确尾注) | 247,275 | 36% | ||
| "Codex" | 119,845 | 17.5% | 5.8% | 3.0x |
| "Copilot" | 53,726 | 7.8% | 5.2% | 1.5x |
| "Cursor" | 51,974 | 7.6% | ||
| "Gemini" | 25,514 | 3.7% | ||
| "Devin" | 4,970 | 0.7% |
上一篇
第28章 AWS Lambda 上的持久化 Pydantic AI Agent 构建指南
下一篇
第30章 You.com 成为 Pydantic AI 能力:双 Web 搜索 Agent 实战