AIslop一则:推理成本如何重塑大模型

（Salicylic: 其实最初我想到的论文主题比这要接地气得多。我想到要说的是，“终究，LLM不能是一个在实验室里被观察的精密仪器或玩具，它是要逃逸到大自然中去服务生产生活的。”会被AI爆改成这样一通，我也没有想到。）

从精密仪器到生产设施：推理成本如何重塑大模型

数据截止 2026 年 9 月。事实来源见文末，技术细节见附录 A，时间线与方法论见附录 B。

2026 年 9 月 10 日，DeepSeek 发布 V4.1 Flash。它主干有 552B 参数，比 2024 年 7 月 LLaMA 3.1 405B 更大；但每个 token 只激活 8B（prefill 阶段）到 16B（decode 阶段）。同一年，Llama 4、Qwen3、Kimi K2、GLM-4.5 的旗舰无一例外是 MoE，发布重点从「有多少参数」变成了「激活多少参数」。

这不是能力竞赛的结果，是成本竞赛的结果。过去两年大模型技术形态的每一次重要转向——dense 转 MoE、注意力越改越小、后训练取代预训练、一体机与端侧硬件的兴衰——背后是同一个驱动力：当模型从实验室展品变成要服务数十亿次调用的生产设施，「每单位能力的成本」就取代「能力上限」，成为核心矛盾。

说得更直白一点：不是模型变强了所以有用，而是模型要有用，所以必须先变便宜。

训练是一次性账单，推理是经常性账单

理解这条主线，要先理解一份账单的结构。

训练一个大模型，钱花一次；部署一个模型，钱按每次调用花。前者是一次性成本，后者是经常性成本。当模型只在论文里出现，训练账单是全部；当模型服务十亿次调用，推理账单会远远盖过训练账单。分析师估算，到 2026 年，AI 推理消耗的算力约为训练的 4.5 倍。这个比例一旦成立，「怎么把模型训好」就不再是唯一的问题，「怎么把模型跑便宜」变成更紧迫的问题。

于是，「算力该怎么分配」这个问题被重新回答了三次。

第一次是 Kaplan（2020）：给定训练算力，怎么分给模型大小 N 和数据量 D？结论是 N 随算力以 0.73 次幂增长、D 以 0.27 次幂增长——模型该长得比数据快，即「大模型、少数据」。

第二次是 Chinchilla（2022）：同一个问题，但把实验做对了。Kaplan 用固定长度的学习率周期、且很多模型没训到收敛；Hoffmann 等人让每个配置都训到收敛，结论翻了个个儿：参数和数据该同比例增长，约 20 tokens/参数。之前那些「大而欠训练」的模型都被纠正了。

注意：前两次的目标函数是同一个——给定训练算力，最小化预训练损失。变的只是方法。真正的目标改变发生在第三次。

第三次是推理最优（2024）：把推理成本放进目标。总成本可以写成：

C_total = 6·N·D_train + 2·N·D_infer

（6 是训练时每参数每 token 的 FLOPs，2 是推理时的。）Chinchilla 只优化左边那一项；而在商业部署里，右边那一项会随调用量无限增长。于是最优解移动了：给定期望的推理量，应该训练更小的模型、训得更久。MosaicML 的算例是：一个推理密集的 41.6B 模型应训 7,920B token（190:1），而不是 Chinchilla 的 20:1。他们实测了 47 个模型，token/参数比一路拉到 10,000:1，质量仍在提升。

第四次是测试时算力（2024）：既然可以在推理时「多想」——重复采样、长链推理、验证器筛选——就不必把能力全压进参数里。Snell 等人的结论是：在 FLOPs 匹配的评测里，测试时算力可以打败大 14 倍的模型。这条线索会在后面「能力引擎换挡」一节展开。

现实里，tokens/参数比一路走高：

这就是为什么 Chinchilla 的「最优」对现代商业不合适：它最小化的是训练账单，而商业要最小化的是总拥有成本。推理是经常性成本，且随参数量线性增长，于是最优解从「大而省着训」移到了「小而狠狠训」。

再往外推一步，还有一个更反直觉的推论：越值钱的模型，往往越不稳定。最有价值的是前沿模型，而前沿模型每几个月就更新一次权重、后训练配方、tokenizer、安全层。想把它固化成生产资产，恰恰是最难的——这条线索会在后面「部署的三条路」里再次出现。

容量与计算解耦：MoE 为什么等了三十年

先说清楚 dense 的处境。

2024 年 7 月发布的 LLaMA 3.1 405B，是迄今公开发布过、并被广泛使用的最大 dense 模型。它的配置是：126 层、隐藏维度 16384、128 个注意力头、8 个 KV 头（GQA）、FFN 中间维度 53248、词表 128256、上下文 128k，总参数 405,853,388,800。它用 15.6T token 训练，约合 38 tokens/参数——按 Chinchilla 标准已经算「略微过训练」。

但它的结构性问题是：每生成一个 token，405B 参数全部要算一遍。 在它的每一层里，注意力部分约 570M 参数（17.7%），MLP 部分约 2.62B（81.3%）——GQA 把 K/V 压得很小，参数绝大部分堆在 FFN 里。这既决定了它的强，也决定了它的贵。

MoE 换了一条路：把「容量」和「计算」拆开。

一个 MoE 层里有很多个专家 FFN，加一个路由器。每个 token 只激活其中 top-k 个专家。于是模型可以拥有很大的总参数（容量、知识），但每个 token 只付一小部分计算。DeepSeek-V3 是这条路的典型：671B 总参数，每个 token 只激活 37B。等于说，用 5.5% 的参数干 100% 的活。

这个概念并不新。它 1991 年就出现了。

1991 年，Jacobs、Jordan、Nowlan、Hinton 提出「自适应局部专家」：复杂任务可以拆成子任务，用不同专家处理不同输入，再由一个门控网络决定谁来处理。那时它的动机是专业化，不是省算力。1994 年 Jordan 和 Jacobs 把它做成层级结构，用 EM 算法训练。

真正的转折在 2017 年。Shazeer、Hinton、Dean 等人发表《Outrageously Large Neural Networks》，把 MoE 做成可插入任意网络的稀疏层：加噪声的 top-k 门控 + 负载均衡损失。这篇论文的动机是容量——当数据足够大，增加参数量能提升质量，而稀疏激活让容量不按比例推高计算。他们做到了 4096 个专家、137B 参数。

但为什么之后七年，主流模型还是 dense？

Shazeer 那篇论文自己就列了障碍。第一，批次缩水：从 n 个专家里选 k 个，每个专家只拿到约 kb/n 个样本，专家越多，每个专家越闲。第二，网络带宽：专家的输入输出要在设备间做 all-to-all 通信，论文原话说，聚合带宽必须比单设备带宽高几千倍才撑得住。第三，专家失衡：门控会自我强化地总选同几个专家，其他专家饿死，需要额外的均衡损失。

后来还暴露了两个问题。第四，训练不稳定：MoE 比 dense 更敏感，router 的数值误差、对学习率与初始化的敏感性都会导致发散。第五，内存：MoE 省计算，但所有专家都要常驻显存——它是拿内存换计算，不是无条件更省。

所以 dense 先赢，不是因为它更好，而是因为它规则：每个 token 走同样的计算图，GPU 利用率高，工具链成熟，scaling 行为可预测。MoE 的路由是不规则的，而硬件最讨厌不规则。

转机出现在 2024 年。

2023 年 12 月，Mistral 的 Mixtral 8x7B 成为第一个被大规模采用的开源 MoE，证明这条路可商用。2024 年 2 月，Google 确认 Gemini 1.5 Pro 是稀疏 MoE；3 月，xAI 开源 Grok-1（314B MoE）；5 月，DeepSeek-V2（236B/21B）。2024 年 12 月，DeepSeek-V3（671B/37B）发布——从这一刻起，开源前沿默认做 MoE，做 dense 反而需要解释。最后一块拼图是 2025 年 4 月：Meta 的 Llama 4 Scout 与 Maverick 发布，这是 Meta 的第一个 MoE。坚持 dense 到最后的主流大厂也转向了。

回头看，这次转向之所以这么快，是因为大家早就准备好了，只是在等一个经济时机。三个条件分别是：专家并行的系统工程、高速互连、推理成本成为主要矛盾。有意思的是它们并不同步：

• • 2022 年，微软的 DeepSpeed-MoE 和 Tutel 已经解决了专家并行与通信（把延迟降 7.3 倍，比同质量 dense 快 4.5 倍、便宜 9 倍）；
• • 2024 年，o1 与 R1 让长链推理的 token 消耗爆炸，推理成本变成主要矛盾。

也就是说，系统层比经济层早了约两年。技术早就可行，缺的是「非做不可」的理由。这种「想法等时机」的现象在科学技术理论里有名字（见附录 B），而 MoE 不是唯一的例子。

KV Cache：推理真正的主战场

MoE 解决的是「算多少」，KV Cache 解决的是「记多少」。后者才是推理成本的日常大头。

自回归生成时，要生成第 t 个 token，注意力必须看前面所有 token 的 K、V。如果不缓存，每生成一个 token 都要把前面所有 token 的 K、V 重算一遍，生成 n 个 token 的总计算是 O(n²)。KV Cache 的做法是：把已算过的 K、V 存下来，每步只算新 token 的——拿显存换计算。没有它，长文本生成会慢到不可用。所以它不是可选优化，是刚需。

问题在于，这份「记忆」会随上下文线性膨胀，而且系数很大。公式是：

KV 大小 = 2 × 层数 × KV 头数 × head_dim × 序列长 × batch × 字节

以 LLaMA 3.1 405B 为例：每 token 516 KB（FP16），128k 上下文下约 63–68 GB。一个序列的 KV Cache 就吃掉一整张 H100。 这是它成为主战场的第一层原因。

第二层原因是，decode 阶段是内存带宽受限，不是算力受限。生成每个 token 都要把整个 KV Cache 和模型权重从 HBM 读一遍，算术强度极低，GPU 的 FLOPS 在空转等内存，换更快的 GPU 帮助有限。

第三层是它挤压 batch size。KV Cache 和权重、激活值争显存，上下文越长，能并发的请求越少，长上下文等于低吞吐。

第四层是它在多轮与 Agent 场景变成持久化 I/O 成本。Agent 每轮工具调用都产生新上下文，KV Cache 被存到 SSD/DRAM 复用。2026 年有实测显示，Agent 负载的 KV Cache 命中率高达 98.7%，瓶颈已经从「计算」变成「KV Cache 的加载 I/O」。DeepSeek 自己公布的进展是：从 V1 到 V4.1，KV Cache 缩小了 437 倍——这个数字本身就是痛点的量级。

于是过去几年，围绕 KV Cache 出现了一整条改进谱系。按「打哪个瓶颈」分，大致有六类：

• • 减少 KV 头数（共享 K/V）：MQA（2019）→ GQA（2023）→ MLA（2024）
• • 减少被注意的位置：滑动窗口、稀疏注意力、KV 驱逐
• • 降低精度：FP8 / FP4 量化
• • 跨层共享：YOCO、CLA、DeepSeek V4.1 的 CSA2
• • 改善内存管理：FlashAttention、PagedAttention
• • 干脆不要 Cache：SSM / Mamba

哪些被广泛接受、哪些没有，是判断「什么样的优化能活下来」的绝佳样本（逐条见附录 A）。一句话总结：赢的是 GQA、MLA、滑动窗口、稀疏注意力、KV 量化、FlashAttention、PagedAttention、跨层共享；输的是线性注意力（Linformer / Performer / Reformer）和纯驱逐类压缩。 规律很清楚——能赢的都「规则」且打中真实瓶颈；输的要么不规则、要么用近似伤害了质量。

在这条谱系上，DeepSeek 的做法最成体系。它几乎在每一层都做了压缩，而且各层之间互相成就：

其中两个联动值得记住。MLA 与 DSA 互相成就：DSA 的索引器直接拿 MLA 已经压缩好的潜向量打分，所以「廉价扫描」才真的廉价——没有 MLA，索引器要对全维度 key 打分，就不便宜了。Engram 是乘积键记忆的复活：这个 2019 年停在实验室的点子，等了七年才等到合适的时机。逐个技术的通俗解释见附录 A。

能力引擎换挡：后训练时代

架构之外，还有一条更安静、但影响更大的转向：能力增长的主引擎，从预训练换到了后训练。

预训练 scaling 是过去五年的主叙事：更多数据、更多参数、更低损失。但这条曲线正在变平。Ilya Sutskever 公开表示，预训练 scaling 的结果已经进入平台期；数据墙的估算落在 2026–2032 年之间。

与此同时，总能力却在加速。Stanford 的 2026 AI Index 给出的判断是「能力没有平台化，而是在加速」：SWE-bench Verified 一年从约 60% 涨到接近 100%（对缩放的人类基线），HLE 一年涨约 30 个百分点；Epoch AI 测到前沿改进速率从断点前约 8 分/年升到约 15 分/年；METR 测到任务完成时间视界每约 7 个月翻倍。

两个判断不矛盾。放缓的是预训练，加速的是后训练。 增长的引擎换挡了。

最有说服力的锚点是一个具体披露：Cursor 的 Composer 1.5（2025 年 9 月）明确写了——后训练算力超过了预训练算力，同一个基座上的 RL 规模扩大了 20 倍。这是少数被量化的「倒挂」证据。其他实验室大多只做定性表态，但方向一致：OpenAI 的 o1 博客公布了准确率随训练时 RL 算力和测试时推理算力对数线性提升的曲线；Anthropic 把 Constitutional AI 当作后训练主干，Opus 4.7 在 SWE-bench Verified 上从 80.8% 升到 87.6%，归因于后训练而不是基座变大；DeepSeek R1 则证明推理能力可以纯粹从 RL 里长出来。

为什么这个转向和成本有关？因为后训练比预训练便宜得多，而且可以针对具体任务反复迭代——它把「能力提升」从一次性的巨额资本开支，变成了可循环的运营开支。对一个要持续服务用户的模型来说，这更划算。

但后训练引擎也有天花板。RL 的 scaling 效率很低：经验数据是，10 倍的 RL 算力只相当于 3 倍推理算力的增益。更麻烦的是，它此前之所以显得「便宜」，是因为起点极低——从 o1 到 o3 那波百万倍级的 RL 扩张，总训练成本只增加了不到 2 倍。可下一个百万倍，需要的是百万倍的总成本，短期不可行。换句话说，后训练把 scaling 的寿命延长了，但没有取消它的上限。

部署的三条路：机房、私有化、桌面

成本压力不只改变模型，也改变模型被放在哪里跑。过去两年，部署形态分出了三条路，各自的命运很不一样。

第一条路：机房里的私有化一体机。

2025 年初，DeepSeek R1 开源后，国内出现了一波「DeepSeek 一体机」热潮——把服务器、开源模型、部署服务打包成一台机器，卖给政府、央国企、金融、医疗。单台几十万到百万，满血版（671B）在百万以上。

它的商业模式很快露出了底色。真正推动销售的护城河不是技术，而是客情关系——国央企和金融机构有固定的硬件采购名单，头部硬件厂商的旧关系更强。软件配套的出货率平均只有一两成，很多采购是「完成部署任务」的 KPI 驱动。2025 年上半年，头部整机厂商规模接近百亿、月销千台；到 7 月，「满血版卖不动了」，商机从每天上百个跌到十多个，招标预算从千万缩到几十万，需求下沉到三四五线城市的高校和地方企业。

到 2026 年，这个故事分成了两段。第一波退货潮（2025 年）的复盘结论是「有算力、没应用」；第二波（2026 年春节，OpenClaw 带火 Mac mini）的结论是「有应用、却没用起来」。原来的「大模型一体机」品类基本冷却，活跃的是相邻但不同的「智能体一体机」——从给政府卖百万服务器，降维成给小团队卖几万块的端侧盒子。

所以它既不是完全的骗局，也没有成为主流。合规与数据本地化需求是真实的，也有真实落地（外贸智能客服、保险、律师、科研）；但被 KPI 和炒作放大之后，它回归到了自己真实能承载的规模——细水长流、低端、边缘化。

第二条路：把模型权重固化进芯片。

这条路的极端形态是 Taalas。它把整个 Llama 3.1 8B 模型和权重烘进芯片的金属层，声称 14,357 tokens/秒，比 Cerebras 快 10 倍、比 GPU 快两个数量级，推理成本 0.75 美分/百万 token，机柜功耗 12–15 KW（GPU 是 120–600 KW）。它不是 FPGA（可重编程），恰恰相反——是一次性掩模编程的 ASIC，更像 1980 年代的结构化 ASIC：固定 base die，只改顶部两层金属。模型更新时，改版周期约两个月。AMD 已在 2026 年 8 月 6 日收购了它。

理论好处很清楚：消除内存墙、存算融合、极高能效、极低延迟。但它有一个结构性赌注。

先看能固化什么：Taalas 的 HC1 跑的是 2024 年 8 月的 Llama 3.1 8B，而且是 3-bit/6-bit 的激进量化，有质量损失。再看 SOTA：2026 年的前沿是 DeepSeek V4.1、Opus 5、GPT-5.6 Sol 这一档，数百 B 到 1.6T 的 MoE，带推理、多模态、1M 上下文。差距不是一代，是两个时代。

再看 SOTA 是在加速还是饱和。答案是加速：Epoch AI 测到前沿改进速率从约 8 分/年升到约 15 分/年；METR 测到任务完成时间视界每约 7 个月翻倍；英国 AISI 测到网络能力时间视界每约 4.7 个月翻倍。按 METR 的速度，一个被冻结一年的模型，就落后约 1.7 次翻倍（约 3 倍）。前沿没有停，反而在提速。

所以固化芯片赌的不是「模型会停止进化」——那必输——而是「存在一批任务，其最优解长期停留在某个冻结版本上」。前者已被证伪，后者是一个尚未被证明的窄假设。它可能活在「稳定长尾」里（某个 8B 模型跑某个固定业务），但 2026 年的证据（前沿加速 + 模型迭代周期 12–18 个月）显示，这个稳定任务池比想象的小。

第三条路：端侧。

这条路的命运和固化芯片相反。2026 年，端侧 AI 从「技术上惊艳」跨到了「实际可用」。最直接的证据来自 Apple：它约 3B 的端侧基础模型，处理了 81% 的查询，14% 走 Private Cloud Compute，5% 走 ChatGPT（用户可选）。Google 的 Gemini Nano 走混合路由，按请求动态决定端侧还是云。Apple 还把 Foundation Models 框架开放给了第三方开发者。

端侧的驱动力和整条主线完全一致：隐私、省 token、低延迟（<100ms）、本地个性化。它和云端是双轨，不是替代——端侧处理隐私敏感、高频、低延迟的任务，云端处理复杂、长上下文的任务。

把这条和固化芯片对照，能看到一个有意思的分野：端侧是「可更新的边缘」，固化芯片是「不可更新的边缘」。 前者活得好，后者受限于「不可更新」。这再次指向同一个张力——生产资产需要稳定，而模型还在快速进化。

便宜的智能带来什么：份额、Jevons 与国产算力

前面讲的是「怎么变便宜」，这一节讲「变便宜之后发生了什么」。

第一件事：份额。 一个不常被提起的数据是 OpenRouter 的路由 token 份额。中国开源模型从 2024 年末的约 2%，涨到 2026 年中的约 61%——拐点正是 DeepSeek R1（2025 年 1 月）。同期路由本身也放大了约 4 倍（从约 5T token/周涨到 20T 以上）。也就是说，中国模型不只是抢了份额，还抢了一个翻了两番的市场。DeepSeek 约 17.6% 的份额超过 Anthropic 的 15.4%；Google 从约 37% 掉到 13%；OpenAI 的路由量跌到个位数。DeepSeek V4 的定价（0.87 per 1M）大约是 Gemini 3.1 Pro 的三分之一、GPT-5.5 的十二分之一。

第二件事：Jevons 悖论。 2025 年 1 月 27 日，市场以为「便宜的中国模型会摧毁算力需求」，Nvidia 单日跌 17%、蒸发约 6000 亿美元，是美国史上最大单日市值损失。但到 2026 年 6 月，Nvidia 市值 5.14 万亿、同比涨约 50%，是全球第一；AI capex 在两岸创纪录。更便宜的智能没有缩小算力需求，反而扩大了它。 一份分析把它总结得很准：效率收益归于算力层和分发层，在中间层被竞争掉。

第三件事：出口管制与国产算力。 DeepSeek 是在出口管制的缝隙里长出来的：它用的 H800 在 2023 年 10 月被禁之前已在市场上流通；后来的 H20（推理优化，比 H100 推理快 20%）几经禁放；H200 在 2025 年 12 月获批，单块约 3 万美元。黄仁勋说 Nvidia 在中国的份额从 95% 掉到 0。而国产芯片在 2026 年 4 月做到了一个此前只有 Nvidia 能做到的事：DeepSeek V4 发布当天，华为昇腾、寒武纪、海光、摩尔线程全部完成 Day-0 适配。有测评称优化后单卡推理性能达 H20 的 2.87 倍。华为昇腾 910C 的 2026 年目标产量是 60 万颗；DeepSeek 还在自研推理芯片。

这三件事指向同一个结论：当智能变便宜，它不会消失，而是扩散。 扩散的方向，恰好是「服务生产生活」的方向——更多企业、更多场景、更多设备用得起。

效率的边界：哪里能省，哪里不能省

一路讲下来，似乎「效率」是稳赢的。但效率不是免费的，它有真实的代价。

代价之一是量化伤 MoE。 在 dense 模型里，量化把某个值挪一点，输出只是稍微不准，是平滑退化。MoE 不一样：router 的 logits 被量化扰动，可能直接改变专家选择——token 被送到和原模型不同的专家那里，质量断崖。有研究观察到，标准量化技术能让 MoE 模型质量差 5 倍以上；专家 FFN 占参数 95% 以上，量化它们通常带来 5–10% 的精度下降。

代价之二是 MoE 拿内存换计算。 Mixtral 8x7B 总参数 47B、激活 13B，但显存要按 47B 算——所有专家都得常驻。它在 batch=1 时还特别低效，因为专家利用率低，高 batch 才能摊平。这恰好和「单流、家用」的场景冲突。

代价之三是过训练有上限。 推理最优要求「小而狠狠训」，但数据墙是硬的（估计在 2026–2032 年之间），而 RL scaling 又低效（10× RL 约等于 3× 推理）。所以「更小更久」不能无限外推。

但代价可以精确控制。 这就是「效率的边界」真正的含义。选择性量化把专家权重压到 2-bit（冗余会分散噪声），attention 和 embedding 保持高位宽，能保留 95–98% 的质量；结构感知量化给常用专家、前几层分配更多 bit，能把损失压到 2–3%。换句话说，高手不是「更省」，而是「知道哪里能省、哪里不能省」。

这也解释了为什么 MoE 和量化总是一起出现：MoE 的稀疏性既带来成本优势，也带来「哪些部分可以狠压」的结构信息。懂结构的量化，才敢下狠手。

三个反转

把前面几节收成三句话，就是这场转向的全貌。

从参数到激活。 衡量一个模型，指标从「总参数」变成了「激活参数」。552B 的 V4.1 Flash 比 405B 的 LLaMA 3.1 更大，却更省——因为它每个 token 只唤醒一小部分。MoE 把容量和计算拆开了。

从训练到推理。 优化的主战场从训练账单移到了推理账单。KV Cache、注意力、量化、投机解码，全是围绕「每次调用花多少」；scaling law 也从「给定训练算力」扩到了「给定总拥有成本」。而能力增长的引擎，从预训练换到了后训练与测试时算力。

从能力到成本。 过去比谁更聪明，现在比谁「每美元更聪明」。OpenRouter 份额、Jevons 悖论、国产算力 Day-0、端侧 81%——都是这个新标尺的读数。

但有一个张力始终没有解决：模型还在快速进化，而生产资产需要稳定。 一体机赌「应用会成熟」，结果应用没跟上；固化芯片赌「模型会停止进化」，结果前沿反而在加速；端侧之所以活得好，恰恰因为它可更新。这三个案例其实在说同一件事——要让一项技术真正服务生产，它必须先停止「日新月异」。

而这，可能正是大模型从「实验室精密仪器」变成「生产设施」的最后一道门槛：不是能力够不够，而是它能不能稳定下来，让企业敢把它当成一项可以依赖十年的基础设施。前面所有的成本优化，都是在为这一刻做准备。

来源

Scaling law 与成本

• • Kaplan et al., Scaling Laws for Neural Language Models, arXiv:2001.08361, 2020
• • Hoffmann et al., Training Compute-Optimal Large Language Models（Chinchilla），2022；复制验证见 arXiv:2404.10102
• • Sardana, Portes, Doubov, Frankle, Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws, ICML 2024, arXiv:2401.00448
• • Snell et al., Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters, arXiv:2408.03314, 2024
• • Lilian Weng, Scaling Laws, Carefully, lilianweng.github.io, 2026-06-24

LLaMA 与 dense 路线

• • Touvron et al., LLaMA: Open and Efficient Foundation Language Models, arXiv:2302.13971, 2023
• • Touvron et al., Llama 2: Open Foundation and Fine-Tuned Chat Models, arXiv:2307.09288, 2023
• • meta-llama/Llama-3.1-405B 模型卡（huggingface.co）与架构配置（weavers.neocities.org）

MoE

• • Jacobs, Jordan, Nowlan, Hinton, Adaptive Mixtures of Local Experts, Neural Computation, 1991
• • Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, arXiv:1701.06538, 2017
• • Lepikhin et al., GShard, arXiv:2006.16668, 2020；Fedus et al., Switch Transformers, 2021
• • Microsoft Research, DeepSpeed-MoE / Tutel, 2022–2023；DeepSeek, DeepEP, github.com/deepseek-ai/DeepEP, 2025
• • Turing Post, Mixture of Experts: History, Architecture & Modern LLMs

注意力与 KV Cache

• • Vaswani et al., Attention Is All You Need, 2017；Shazeer, Fast Transformer Decoding（MQA）, 2019
• • Ainslie et al., GQA: Training Generalized Multi-Query Transformer Models, arXiv:2305.13245, 2023
• • TransMLA: Multi-Head Latent Attention Is All You Need, arXiv:2502.07864, 2025
• • A Survey on Large Language Model Acceleration based on KV Cache, arXiv:2412.19442, 2024
• • DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference, arXiv:2602.21548, 2026
• • Sebastian Raschka, LLM Architecture Gallery（GQA / MLA / MTP 页）

DeepSeek

• • DeepSeek-AI, DeepSeek-V3 Technical Report, arXiv:2412.19437, 2024
• • DeepSeek-AI, DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, arXiv:2501.12948, 2025；期刊版 Nature s41586-025-09422-z
• • DeepSeek-AI, DeepSeekMath（GRPO 出处），arXiv:2402.03300, 2024
• • DeepSeek-AI, Conditional Memory via Scalable Lookup（Engram），arXiv:2601.07372, 2026
• • deepseek-ai/DeepSeek-V4.1-Flash 模型卡（huggingface.co）；mesuvash, DeepSeek's Technical Playbook: From MLA to Conditional Memory

后训练与能力曲线

• • digitalapplied, The Post-Training Revolution: RL Is the New Moat, 2026
• • Stanford HAI, The 2026 AI Index Report, hai.stanford.edu, 2026
• • Epoch AI, AI capabilities progress has sped up, epoch.ai
• • METR, Task-Completion Time Horizons of Frontier AI Models, metr.org
• • LessWrong, How Well Does RL Scale?, 2025

部署：一体机、固化芯片、端侧

• • 赵之齐，《DeepSeek 一体机最新观察：满血版卖不动了》，雷峰网，2025-07-11
• • 黄心怡、毛明江，《DeepSeek 大模型一体机的落地「鸿沟」》，科创板日报/财联社，2025-03-21
• • 数智前线，《云端 token 爆发后，端侧算力起步：智能体一体机迎来六路玩家》，澎湃新闻，2026-06-03
• • Karl Freund, Taalas Launches Hardcore Chip With 'Insane' AI Inference Performance, Forbes, 2026-02-19
• • CNBC / AMD IR, AMD Acquires Taalas, 2026-08-06
• • Hacker News, How Taalas "prints" LLM onto a chip?, 2026；@TheValueist, AMD–Taalas 战略分析
• • Apple Newsroom, Apple Intelligence（2026）；Presenc AI, Apple Intelligence Usage Statistics 2026
• • Vikas Chandra, On-Device LLMs: State of the Union, 2026

产业与地缘

• • Chris Zeoli, China's Open-Weight Takeover, Data Gravity, 2026
• • Stanford HAI DigiChina, Beyond DeepSeek: China's Diverse Open-Weight AI Ecosystem, 2026
• • USCC, Two Loops: How China's Open AI Strategy Reinforces Its Industrial Dominance, 2026-03
• • Congressional Research Service, U.S. Export Controls and China: Advanced Semiconductors, R48642
• • TrendForce, Huawei Ascend, Cambricon and Hygon Completed Day 0 Adaptation to DeepSeek-V4, 2026-04-29
• • Reuters, China's DeepSeek developing its own AI chip, 2026-07-07
• • Nota AI, Two Axes of MoE Quantization；Router Choice Matters: Rank-Aware PTQ for MoE（OpenReview）；QuantMoE-Bench, arXiv:2406.08155