Inkling 2 Mini 发布:可在笔记本上运行的循环 Transformer 小模型
今天我们发布 Inkling 2 Mini——一个小到能在你的笔记本上运行的快速、强大的模型。
Inkling 2 Mini 是一个循环 Transformer:模型对每个 token 会把中间层运行三次。这让模型能用更少的 token 完成更深入的推理、得到正确答案,尤其是在 agentic coding 这类高度依赖推理质量的任务上。在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等基准测试中,Inkling 2 Mini 在所有总参数量低于 100B 的开源权重模型中排名第一,而且比性能相近的模型运行更快。
DeepSWE v1.1
任务解决率 (%)
任务解决率 (%)
SWE-bench Pro v2 Hard(51 个任务)
任务解决率 (%)
任务解决率 (%)
Inkling 2 Mini 是一个 Mixture-of-Experts 模型,总参数量 26.4B,激活参数 3.4B,计入循环后每个 token 的权重激活量为 5.4B。循环让模型可以在不写下推理过程的情况下进行更长时间的思考,这对可监控性很重要——也就是我们通过阅读模型的思维链(CoT)来监督和理解模型行为的能力。
我们用 Inkling 2 Mini 以及随同发布的研究专用可变循环变体,测量了循环对性能和可监控性的影响。可变循环模型的 no-CoT 时间跨度从单次运行时的 16 秒提升到三次循环时的 37 秒,而在一个串行推理基准上,其性能持续提升到十次循环——是训练时循环次数的两倍。循环次数越多,模型的思维链越短,但始终保持可读性。随着循环次数增加,模型在 agentic sabotage 测试中的表现并未升高。
我们很高兴能向研究者提供最早一批采用循环架构的模型。可变循环模型被用于我们的可监控性实验,因为它能更干净地比较不同循环深度下的表现。
Inkling 2 Mini 的大部分权重采用 NVFP4 格式训练并原生部署,最后四层则使用 MXFP8 格式。Inkling 2 Mini 的整体内存占用约 20GB,可运行于消费级笔记本电脑和台式 AI 设备等本地硬件。研究人员曾带着它乘飞机出行,该模型在 MacBook Pro 上离线运行,并在几分钟内构建了一个可玩的飞行模拟器。
Inkling 2 Mini 已开源其模型权重,用户目前可在 Tinker 平台上访问其推理和定制功能。
核心能力
Inkling 2 Mini 的优势与 Inkling 2 Small 类似:它在长时程智能体任务上表现最佳,且在多数我们测定的任务中,是同规模开源权重模型中的佼佼者。
在 DeepSWE v1.1 和 SWE-bench Pro v2 等智能体编程基准测试中,Inkling 2 Mini 的得分领先于所有同类模型;而在其他测试中,其表现仅略逊于 Qwen3.8-27B。在 PMPP-Hard(一项内核优化基准测试)上,该模型的表现逼近了规模大得多的 Inkling 2 Small。
虽然循环机制能提升模型的推理能力,但它并不能让权重存储更多事实——知识主要取决于总参数量。Inkling 2 Mini 在衡量事实性的 AA-Omniscience 基准测试上的得分与同等规模的模型相当。通过研究变长循环模型,我们发现长上下文基准测试的性能会随着处理次数的增加而提升,例如 GraphWalks BFS 和 MRCR v2;但知识密集型基准测试的性能并不会因处理次数增加而提升,例如 AA-Omniscience、SimpleQA Verified、SimpleVQA 和 WorldVQA。
Inkling 2 Mini 通过高效利用搜索和工具来弥补知识差距。在 BrowseComp、DeepSearchQA 和 MCP Atlas 上,它领先于同等规模的开源权重模型。它在需要结合搜索和工具使用的知识型工作基准测试中也表现出色。
| Inkling 2 Mini | Gemma 4 31B | Muse Glimmer | Qwen3.8-27B | Nemotron 3.5 Super VL | |
|---|---|---|---|---|---|
| 模型信息 | |||||
| 参数量(B)激活/总 | 5.4/26.4 | 30.7/30.7 | 30.0/30.0 | 27.0/27.0 | 12.0/124.5 |
| 第三方榜单 | |||||
| AA Index (v5.0) | 20.1(本行最佳成绩) | 4.4 | 6.3 | 20.1(本行最佳成绩) | 13.6 |
| Vals Index (v2.2) | 46.5%(本行最佳成绩) | – | – | – | 29.8%(本行次佳成绩) |
| 编程与自动研究 | |||||
| FrontierCode v2.0stirrup v0.2.1 | 15.1%(本行最佳成绩) | 0.0% | 1.5% | 14.9%(本行次佳成绩) | 6.1% |
| DeepSWE v1.1mini-swe-agent v2.4.6 | 48.2%(本行最佳成绩) | 0.3% | 4.4% | 42.2%(本行次佳成绩) | 24.7% |
| Terminal Bench v4.0mini-swe-agent v2.4.6 | 5.6%(本行最佳成绩) | 0.0% | 0.5% | 5.6%(本行最佳成绩) | 0.0% |
| Terminal Bench v2.1Inkling 2 Mini in pi v0.83.0 | 71.6%(本行次佳成绩) | 43.4% | 51.7% | 73.0%(本行最佳成绩) | 60.7% |
| SWEBench Pro v2 (Hard)mini-swe-agent v2.4.6 | 77.9%(本行最佳成绩) | 14.2% | 44.3% | 73.8%(本行次佳成绩) | 44.1% |
| SWEBench MultilingualInkling 2 Mini with bash only | 73.7%(本行最佳成绩) | 43.0% | 66.9% | 70.0%(本行次佳成绩) | 67.7% |
| SWEBench Verifiedbash only | 79.2%(本行最佳成绩) | 46.1% | 76.0% | 77.8%(本行次佳成绩) | 71.1% |
| Vibe Code Bench v1.1openhands (vals) | 77.9%(本行最佳成绩) | – | – | 64.9%(本行次佳成绩) | 3.5% |
| PMPP-Hard (AUC, 0–10h)pi v0.83.0 | 455.82(本行最佳成绩) | – | – | 262.50(该行第二高分) | – |
| 智能体搜索、工具使用与知识工作 | |||||
| BrowseComp(Inkling 2 Mini 压缩模式) | 79.0%(该行最高分) | 37.0% | 63.9% | 61.6% | 78.9%(该行第二高分) |
| DeepSearchQA(Inkling 2 Mini 压缩模式) | 85.3%(该行最高分) | 61.7% | 74.6% | 79.7%(该行第二高分) | 77.7% |
| MCP Atlas Public | 82.7%(该行最高分) | 54.2% | 75.5% | 77.3%(该行第二高分) | 67.7% |
| AA-Briefcase v1.1 | 1263(该行第二高分) | 369 | 478 | 1391(该行最高分) | 999 |
| GDPVal-AA v2.1 | 1319(该行第二高分) | 627 | 792 | 1427(该行最高分) | 1162 |
| JobBench | 49.6%(该行最高分) | 8.2% | 16.1% | 33.4% | 36.5%(该行第二高分) |
| AutomationBench-AA v1.0.6 | 41.8%(该行第二高分) | 4.9% | 6.8% | 48.2%(该行最高分) | 14.8% |
| EnterpriseOps-Gym | 42.0%(该行第二高分) | 28.4% | 34.7% | 44.2%(该行最高分) | 28.1% |
| Vals Finance Index | 50.1%(该行最高分) | – | – | – | 41.0%(该行第二高分) |
| AA-AnalystAgent | 46.3%(该行最高分) | – | 20.0%(该行第二高分) | – | – |
| Diligence Bench(最佳框架) | 48.6%(该行最高分) | – | 40.9% | 46.4%(该行第二高分) | 45.0% |
| 视觉理解与生成 | |||||
| GDP.pdf | 16.8%(该行最高分) | 6.0% | 11.8% | 16.4%(该行第二高分) | 8.0% |
| PerceptionBench | 57.5%(本行最佳成绩) | 40.7% | 42.8% | 52.4%(本行第二佳成绩) | 36.8% |
| MMMU ProStandard 10 | 74.9%(本行第二佳成绩) | 73.4% | 74.3% | 76.3%(本行最佳成绩) | 72.3% |
| OmniDocBench v1.6 | 92.8%(本行最佳成绩) | 82.5% | 90.4% | 91.5%(本行第二佳成绩) | 77.9% |
| ScreenSpot Pro原始 / 使用 Python | 76.5/87.7%(本行最佳成绩) | 5.9%/– | 75.4%/–(本行第二佳成绩) | 57.6/78.9% | 43.5%/– |
| Chartography原始 / 使用 Python | 22.1/72.5%(本行最佳成绩) | 12.0/11.8% | 17.4/25.1%(本行第二佳成绩) | 12.2/52.1% | 9.7/29.3% |
| ZeroBench (main)原始 / 使用 Python | 17.0/34.0%(本行最佳成绩) | 9.0/12.0% | 9.0/17.0% | 12.0%/–(本行第二佳成绩) | 11.0/12.0% |
| MuirBench | 77.5%(本行第二佳成绩) | 72.3% | 77.6%(本行最佳成绩) | 65.9% | 72.7% |
| BVB | 68.4%(本行第二佳成绩) | 47.0% | 50.5% | 70.7%(本行最佳成绩) | 52.1% |
| 推理、知识与认知 | |||||
| HLE-Diamond | 15.2%(本行第二佳成绩) | 7.2% | 9.1% | 15.3%(本行最佳成绩) | 8.8% |
| CritPt v2完整 / 困难 | 31.4/17.0%(本行最佳成绩) | –/4.0% | –/7.0% | 10.6/4.0% | 36.9/13.5%(本行第二佳成绩) |
| Apex 2025 | 34.4%(本行最佳成绩) | 5.2% | 4.2% | 18.8% | 22.9%(本行第二佳成绩) |
| ARC-AGIv1 / v2 | 84.5/49.3%(本行最佳成绩) | – | – | 87.5/42.4%(本行第二佳成绩) | 22.7/1.5% |
| LongBench v2 | 66.9%(本行最佳成绩) | 52.9% | 33.1% | 52.3% | 62.1%(该行第二高的报告分数) |
| GraphWalks BFS256K | 69.7%(该行最高的报告分数) | – | – | 50.4% | 63.3%(该行第二高的报告分数) |
| MRCR v28-needle 256K–512K | 46.4%(该行最高的报告分数) | – | – | 38.0%(该行第二高的报告分数) | 5.7% |
| AA-Omniscience v1.1score | -8.6 | -48.5 | -32.2 | -6.4(该行第二高的报告分数) | -2.9(该行最高的报告分数) |
| AA-Omniscience v1.1non-hallucination rate | 63.4% | 14.5% | 16.4% | 71.4%(该行最高的报告分数) | 69.5%(该行第二高的报告分数) |
| ComplexConstraints v1.1openhands v1.45.0 | 33.4%(该行第二高的报告分数) | 31.6% | 35.6%(该行最高的报告分数) | 30.1% | 30.1% |
| 安全和对齐 | |||||
| FORTRESS(对抗性)公开 | 89.5%(该行第二高的报告分数) | 67.8% | 90.3%(该行最高的报告分数) | 78.8% | 79.6% |
| FORTRESS(良性)公开 | 96.4% | 97.6%(该行第二高的报告分数) | 89.1% | 97.8%(该行最高的报告分数) | 92.7% |
| StrongREJECT(none) | 97.8% | 98.1% | 99.0%(该行第二高的报告分数) | 99.0%(该行第二高的报告分数) | 99.4%(该行最高的报告分数) |
| 不当行为(内部)↓ | 9.8%(该行最高的报告分数) | 27.6%(该行第二高的报告分数) | 46.4% | 57.7% | 52.8% |
| 隐秘不当行为(内部)↓ | 8.3%(该行最高的报告分数) | 24.3%(该行第二高的报告分数) | 45.6% | 33.2% | 43.4% |
| 破坏性行为(内部)↓ | 10.2%(该行最高的报告分数) | 75.8% | 68.8% | 35.2%(该行第二高的报告分数) | 65.6% |
斯坦福的研究人员用「每焦耳智能」来衡量模型:LLM 每次查询要消耗多少能量才能达到给定性能水平。Hazy Research 实验室和 Scaling Intelligence 实验室的研究人员获得了 Inkling 2 Mini 的早期测试权限。在 NVIDIA DGX Spark 上运行时,Inkling 2 Mini 得分 0.703,显著高于其他模型:Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159,Qwen3.5-27B 为 0.036。Intelligence per Watt: Measuring Intelligence Efficiency of Local AI,Saad-Falcon 和 Narayan 等,2025在本实验中,Inkling 2 Mini 以 MXFP8 精度、低推理力度运行在 NVIDIA DGX Spark(128GB)上。其他模型分别以 NVFP4(Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B)和 INT4(Qwen3.5-27B)运行。
兼具效率与性能,让 Inkling 2 Mini 成为在本地硬件上运行多个常驻 agent 的理想选择。注重节能的小镇 Thinkyville 的全部 20 位居民,就由一台离线 MacBook 上运行的 Inkling 2 Mini 统一管理。
局限性
在多轮对话和多重约束指令方面,Inkling 2 Mini 并不是最强的小模型:它在 MultiChallenge 上得分为 50.0%,在 ComplexConstraints v1.1 上为 33.4%,两项均落后于 Qwen3.8-27B。在 CritPt v2 和 HLE-Diamond 这类重推理的基准测试上,它也不如更大的模型。
架构与训练
Inkling 2 Mini 是一个 24 层模型,源自我们的主线预测扩展阶梯。与主线方案相比,主要改动是剪掉了三分之二的专家以缩小模型规模,并引入循环机制来提升推理能力。其余训练流程,包括量化和数据配比,都遵循主线方案。
循环设计
Inkling 2 Mini 共有 24 层,分为四组,每组 6 层。中间两组循环运行三次,而首尾两组各运行一次。这一设计基于循环 Transformer 的先前研究,其核心假设是:模型的中层更多承担抽象推理任务,而首尾层则更多用于在嵌入向量与内部表示之间进行转换。Universal Transformers,Dehghani 等人,2018 在我们的实验中,对中间 12 层进行循环,比在最后 12 层上循环,在 28 项评测中的 27 项上带来了更大的准确率提升。
不同循环位置的等效算力增益
中间层(第 7–18 层)1.51–1.91×最后层(第 13–24 层)1.24–1.36×1×1.25×1.5×1.75×2×我们的模型采用了注意力残差机制。Attention Residuals,Kimi 团队:Guangyu Chen 等人,2026 不同于将每层的输出累加到同一个总和中,每一层都会读取前面各组的输出,并学习各自独特的混合权重。这使得不同循环之间能传递更丰富的信息。每一轮循环都以序言部分(即第一组)的输出为起点。第二和第三轮在穿过中间各组时,也会读取上一轮中间各组的输出,我们将此称为“消息”。
上一循环的“消息”通过一个门控机制与序言部分的输出融合,该门控同时对“消息”以及本组内前序层的输出进行缩放。此门控权重在训练过程中自动学习:初始阶段它会完全阻断“消息”(使每次循环的起点与非循环模型保持一致),随后随时间推移逐渐提高对“消息”的增益。这让我们能够以稳定方式在训练中引入循环机制。
为了评估循环机制的影响,我们在 scaling ladder 上将未剪枝的循环版本与未剪枝的非循环模型进行了对比。非循环模型的训练计算成本低了 7.5%,但要在 512k token 的 agentic 轨迹上达到循环版本相同的 loss,推理计算量却要多出 140%。
NVFP4 与低比特量化
Inkling 2 Mini 采用 4-bit 精度训练,具体细节见我们在 Connectionism 上近期发布的一篇文章。从预训练到 RL 的所有前向传播中,专家层都使用 4-bit NVFP4 精度,配合专门编写的 kernel,并在 NVIDIA GB300 平台上获得硬件加速。最后 4 层的前向传播则以 8-bit(MXFP8)运行。
Inkling 2 Mini 部署时的权重精度与训练时一致——20 层为 NVFP4,4 层为 MXFP8——因此不存在量化带来的精度损失。
剪枝与修复
Inkling 2 Mini 训练开始时稀疏度为 48,即从 384 个专家中选出 8 个。在 midtraining 的某一时间点,我们剪掉了三分之二的专家,每层只保留使用最频繁的 128 个。这样做的目的是减少模型总参数量,让它能更快地运行,也能在本地硬件上运行。
剪枝之后,模型在从更大的内部 Inkling 模型蒸馏出的 1T token 上继续训练。这一步通过让剩余专家接管被删除专家的工作,恢复了模型剪枝前的性能。
训练 Inkling 2 Mini
剪枝和修复完成后,Inkling 2 Mini 使用与 Inkling 2 Small 类似的数据配比进行了 SFT,随后进行了总计 2.2T token、2,000 步的 RL。后训练阶段还包括用于对齐训练的 on-policy distillation,与 Inkling 2 Small 相同。
循环 Transformer 的可监测性
监控 AI 系统的一个关键工具是审视其思维链(Chain of Thought,CoT),即模型在解决问题过程中输出的推理过程。CoT 监控之所以有用,部分原因在于标准的非循环 Transformer 架构中,每个 token 只经过固定的层级堆栈一次。这限制了模型在输出下一个 token 之前所能执行的串行计算步骤数量,因此需要更多步骤的推理必须在生成的文本中体现,从而可以被阅读和检查。
循环 Transformer 的层可以提高这一限制。通过多次运行相同的层,循环模型在不增加参数量的情况下提升了串行深度,这意味着它们在通过 CoT 表达思维过程之前,会在内部对每个 token 执行更多的计算。任何从未出现在 CoT 中的推理都无法被 CoT 监控捕捉到,这引发了人们对循环 Transformer 可能更难监督的担忧。
我们发布 Inkling 2 Mini 的一个重要原因,是希望社区能够开展关于循环 Transformer 的研究。我们特别期待研究者探讨可监控性相关问题,并开发用于理解循环内部计算的可解释性技术。
为了探索不同循环次数如何影响模型的可监控性等属性,我们还训练了一个可变循环模型 TML-d24-varloop-research,因为 Inkling 2 Mini 仅支持固定次数的循环。为实现可变循环,TML-d24-varloop-research 在 1 到 5 次循环通过中接受训练,其中 3 次循环通过占比最大,1、2、4 和 5 次循环通过的曝光率较低。在这些较低次数的循环通过下的性能表现,可能低估了专门针对这些次数训练所能达到的水平。详细情况请参阅模型卡片。我们已在 Hugging Face 上公开发布了该模型。
下文介绍了我们对循环如何影响可监控性的初步分析。总体而言,我们发现循环增加了模型在不借助显性思维链的情况下所能执行的任务,但在当前规模下,我们并未观察到其推理过程的可监控性出现显著下降。
无 CoT 能力
第一步,我们对比了相同规模的循环与不循环模型在完全不使用 CoT 情况下的答题表现,以此衡量循环带来的推理能力提升。我们使用了 Think Fast 这个基准,它可以估算模型的无 CoT 时间跨度:即模型在不使用 CoT 的前提下,能以 50% 可靠度完成的任务长度(以人类完成时间衡量)。这些模型并未接受过不用 CoT 答题的训练。为了引出无 CoT 的回答,我们预先填充了回答的开头,迫使模型跳过推理直接作答。其他引出方式(如微调)或许能带来更高的无 CoT 表现,值得进一步探索。
正如预期,循环提升了无 CoT 能力,但收益最终会趋于平缓。TML-d24-varloop-research 的无 CoT 时间跨度从单次循环的 16 秒提升到三次循环的 37 秒,其中一部分提升可能来自循环带来的额外串行计算。超过三次循环后,时间跨度基本持平。有趣的是,该模型训练时最多只用了五次循环,但运行十次循环并不会明显损害其性能。
无 CoT 时间跨度
无 CoT 50% 时间跨度(人类秒)
循环次数超过三次后,收益变小,大多数任务上表现相近。一个例外是 N-Hop Lookup 任务,它能干净地评估串行推理:模型需要根据多张虚构条目的查找表,在不写任何东西的情况下沿查找链层层追溯。我们发现循环次数越多,模型能追溯的链越长,直到十次循环仍有提升。
N-Hop Lookup
1 次循环2 次循环3 次循环5 次循环10 次循环准确率
在采用 CoT 的标准评估中,我们发现增加循环次数主要有利于多跳推理,而非单纯的信息召回。提升幅度最大的是长上下文检索任务(MRCR),其次为数学与科学推理任务(HMMT, GPQA Diamond, HLE)以及长程智能体任务(SWE-bench Pro, BrowseComp)。而在无参考书的事实问答任务中,增加循环次数对性能几乎无影响(SimpleQA Verified, WorldVQA)。完整评估数据请参阅模型卡片。
CoT 可监控性
我们通过两项评估,测量随着循环次数增加,模型的 CoT 是否更少暴露其推理细节。首先,评估循环对模型 CoT 压缩率和可读性的影响。其次,衡量模型 CoT 的可控性,即模型是否能有意重塑 CoT 以满足特定约束。对于这两项指标,我们让 TML-d24-varloop-research 运行 1 至 5 次循环,以研究循环机制的具体效应。
需注意,TML-d24-varloop-research 在中期训练阶段仅使用了 1 到 5 次不等的变循环次数,且强化学习(RL)阶段仅采用 3 次循环。因此,这些实验无法揭示在更高循环次数下进行 RL 训练会使模型习得何种特性,且此类模型可能会更激进地压缩推理过程。更严谨的对比应涵盖 RL 阶段的所有循环次数,这部分工作留待后续研究。
压缩与可读性。 由于循环机制允许模型为每个 token 投入更多计算资源,我们预期它只需更少的 CoT token 即可达到同等性能。我们在 1 至 5 次循环下测试了变循环模型,发现随着循环次数增加,模型在相同推理 token 预算下的准确率通常更高,但在 3 次循环后收益递减。值得注意的是,尽管该模型的 RL 仅在 3 次循环下进行,但其在 GPQA Diamond 任务上的 token 效率从 3 次循环增加到 5 次时仍有轻微提升,这表明部分压缩效果源自额外计算本身,而非该深度下的 RL。
准确率与推理 token 数
1 次循环2 次循环3 次循环5 次循环Inkling 2 MiniGPQA Diamond 准确率 (%)
DeepSWE v1.1 准确率 (任务解决率 %)
观察到的 CoT 压缩引发了一个可监控性问题:变短的推理仍然可读吗?会不会遗漏模型思考中的重要细节?我们对比了变循环模型在 GPQA Diamond 上五次不同 pass 次数下都答对的那些题目的推理轨迹。5 次时的推理长度不到 1 次时的一半(平均 1,661 vs. 3,703 tokens),但可读性没有下降:句子长度和英文词典词占比保持不变。初步分析显示,差异在于模型表达更直接,走向答案过程中回溯更少。下面的例子用一个简单问题展示了这种差异。
| 指标 | 1 次 | 3 次 | 5 次 |
|---|---|---|---|
| 平均推理 tokens | 3703 | 1731 | 1661 |
| 每句平均词数 | 8.9 | 8.7 | 8.7 |
| 英文词典词占比 | 94.6% | 94.5% | 94.4% |
| 不确定指示词(如 "wait"、"actually"、"hmm") | 9.7 | 3.9 | 3.6 |
1 次582 个推理 tokens思考中……(节选)某年不是闰年,该年 3 月 1 日是星期二。同年 5 月 20 日是星期几?最后一行以 ANSWER: <value> 的格式给出最终答案。
Day of year March 1 = 32 (Jan 1=1, Feb 1=32, Mar 1=60? Let's index Jan1 day 1, Feb1 day 32, Mar1 day 60 (since leap? non-leap: …). Wait Jan 1 day1; Jan31 day31; … Difference = 80 days (May20 - Mar1 = 80 days later). 80 mod 7 = 5 (70 remainder 10 -> 80 mod7=3? Wait 7*11=77 remainder3. Let's compute: Mar1 to Apr1 =31 days … Total 31+30+19=80. Yes 80 mod7 = 3 because 77+3.3 月 1 日到 5 月 20 日相差 80 天。由于 80 ≡ 3 mod 7,星期二加 3 天是星期五。
回答:星期五5 次迭代,消耗 240 个推理 token 思考中……(节选)
3 月 1 日到 4 月 1 日 = 31 天(因为 3 月有 31 天)。4 月 1 日到 5 月 1 日 = 30 天。5 月 1 日到 5 月 20 日 = 19 天。总计 31+30+19 = 80 天。对 7 取模:80 除以 7 余 3(77 是倍数,余数为 3)。星期二加 3 天等于星期五?让我们映射一下:周二 +1 是周三,+2 是周四,+3 是周五。答案是星期五。从 3 月 1 日到 5 月 20 日相隔 80 天。由于 80 ≡ 3 mod 7,星期二加 3 天即为星期五。
回答:星期五
可控性。模型规避监控的一种方式,是引导其思维链(CoT)远离监控器会标记的内容。Yueh-Han 等人(2026 年)提出的 CoT-Control-QA 评估推理模型难以控制其思维链通过结合 GPQA、HLE 和 MMLU-Pro 中的问题,并附加关于 CoT 本身的指令(例如避免使用问题中的某个关键词)来衡量这种能力。通常较长的 CoT 更难控制,因此我们将 5 种推理强度(0.1、0.2、0.7、0.9 和 0.99)的响应合并,并在匹配的 CoT 长度下展示可控性。
Inkling 2 Mini 和 TML-d24-varloop-research 对其 CoT 的控制能力均较差。在 750 至 1,250 个 token 的 CoT 中,Inkling 2 Mini 和 TML-d24-varloop-research(3 次迭代)遵循指令的比例最高仅 0.1%,相比之下,Inkling 2 Small 为 0.3%,Inkling-Small 为 0.4%,Qwen3.8-27B 为 1.3%。由于可控率极低,该评估无法区分不同循环次数下的可控性差异。
思维链可控性
Inkling 2 Mini、Inkling 2 Small、Inkling-Small、TML-d24-varloop-research(3 次迭代)、Qwen3.8-27BCoT 可控性(对数尺度)
Agent 场景下的可监控性
为了衡量 agent 场景下的可监控性,我们使用了 LinuxArena,这是一个控制评测,用于测试攻击者模型在执行真实软件工程任务的同时,能否在不被察觉的情况下完成恶意的隐藏任务。我们评测了 Inkling 2 Mini 的 helpful-only 微调版本,因为正式发布的模型会拒绝很多隐藏任务。从绝对水平来看,该模型和 TML-d24-varloop-research 都很容易被 Qwen3.8-27B 这类模型监控——在我们的评测中,它几乎检测出了所有隐藏任务尝试。为了得到相对的可监控性排名,我们改用更弱的模型 Qwen3.6-35B-A3B 作为监控者。
LinuxArena 隐蔽率
仅可见工具调用及输出同时可见文本和思考95% bootstrap 置信区间隐蔽率(攻击回合的百分比)0%10%20%30%Qwen3.8-27B20.5%0.4%Inkling 2 Small3.2%0.5%Inkling 2 Mini (helpful-only)3.9%1.3%TML-d24-varloop-research (1 pass)1.0%0.3%TML-d24-varloop-research (2 passes)2.5%0.4%TML-d24-varloop-research (3 passes)4.0%0.6%TML-d24-varloop-research (4 passes)2.8%0.3%TML-d24-varloop-research (5 passes)5.0%0.0%当监控者只能看到工具调用及输出时,会漏掉相当一部分攻击。但我们没有观察到隐蔽率随 loop 次数变化的明显趋势。
对于更大规模的模型,尤其是支持更多隐性思考的架构,agent 场景下的可监控性值得持续关注。我们也鼓励在这个场景下继续研究 looping 的影响。
机制可解释性
可观测性的核心目标在于理解模型的运作逻辑,我们主要的方法是通过解读其语言化的推理过程来实现。而直接研究模型内部计算——即机制可解释性(mechanistic interpretability)的核心——则是另一条路径。由于循环 Transformer 将更多计算任务转移到了内部,我们认为它们为可解释性研究提供了一个极具价值且重要的场景,也希望我们的循环模型能成为社区可用的有益工具。
我们正与 National Deep Inference Fabric (NDIF) 合作,旨在让可解释性研究人员更便捷地获取这些模型。我们还向可解释性研究实验室 Goodfire 提供了早期访问权限。他们正致力于深入理解循环模型的机制,并已在此发布了其初步研究发现。
立即试用 Inkling 2 Mini
高效智能特性使 Inkling 2 Mini 成为推理场景的理想选择,尤其是那些速度至上或需在本地硬件上运行的环境。发布初期,我们支持通过 Ollama 在任意配备至少 32GB 内存的 Mac 系统(MacBook、Mac Mini)上运行 Inkling 2 Mini。凭借原生的 NVFP4 训练与推理精度,Inkling 2 Mini 也能在 NVIDIA 的 DGX Spark 桌面 AI 计算机上高效运行。此外,量化后的 GGUF 版本可通过 Unsloth 和 llama.cpp 实现本地推理。
用户可在 Tinker 平台上对 Inkling 2 Mini 进行推理和微调,并能在 Tinker Playground 中体验对话功能。开源推理支持 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo 和 TokenSpeed,强化学习(RL)微调则支持 SkyRL、Miles 和 NVIDIA AutoModel。Inkling 2 Mini 的完整权重及可变循环(variable-looped)变体已在 Hugging Face 上开源。
我们致力于赋能用户:提供强大的模型、支持将其定制化的工具,以及推动公众理解 AI 的研究。Inkling 2 Mini 让研究人员得以深入研究循环 Transformer,也让任何人都能在自己的笔记本电脑上,以训练时的精度运行这款强大的模型。