← 文章 / AI技术
Latent Space 8天前 · 2026-11-14 16:13:20 · 29 阅读

AI 新闻:决策模型之日

今天是第二届 AIE CODE 年会的“System One 主题日”,各种内容巧妙地凑到了一起:

基准测试表现不错(关于基准测试的老生常谈还是得提一句):

以上内容以及更多精彩,都可以在今天的 System One 赛道听到。

播放视频

在 YouTube 上打开视频 ↗

欢迎给 AINews 投稿支持,为你的 Agent 配上 SerpApi,让它畅读全网!

SerpApi 赞助

给你的 AI Agent 完整页面内容,而不只是一个链接

使用 SerpApi Extract API 通过 URL 获取公开网页,并可将其转换为干净的 Markdown、结构化 JSON 或原始 HTML。你可以提取单个页面、爬取网站上的 URL,或在同一网站内执行有界爬取。只需在 URL 中设置 engine=extract 参数,并添加 output=md 即可获取 Markdown 格式。结合 SerpApi 的 100 多种搜索 API,通过一家服务商即可从查询直接获取页面内容。

感谢 SerpApi 与 business@latent.space 的合作!

AI Twitter 摘要

谷歌发布 Gemini Decision 1 模型,实现单程分类

  • Gemini Decisions API:谷歌推出了一款由 Gemini Decision 1 模型驱动的新 API。该模型用于处理封闭集决策,因此它能在单程中为选项打分,而无需逐个 token 生成文本(Sundar Pichai、Logan Kilpatrick、谷歌)。

    • 规格:支持是否判定、多选及评分标准打分,最多支持 255 个多选选项。接受文本、图像、音频、视频和 PDF 输入,每次请求可处理多达 1,000 个问题,拥有 256K 上下文窗口,端到端响应时间在 150–250 ms,并为每个答案附带置信度评分(@_philschmid)。

    • 定价:每 100 万输入 token 收费 0.10 美元,输出不收费。谷歌称这比 Flash-Lite 便宜约 5 倍(Sundar)。

    • 起源:该项目最初是谷歌 DeepMind 的内部原型。一个小团队在约六周后上线了该模型和 API(@_philschmid)。

  • 谷歌与 TypeSafe 的 Jev 模型对比:谷歌内部测试显示,Decision 1 在 7 个共同基准测试中的 5 个上超越了 Jev 1.14,其中在 JevBench 上的成绩为 92.2% 对 90.0%。Jev 模型每 100 万输入 token 收费 0.042 美元(@kimmonismus)。

  • Artificial Analysis 评估:独立测试结果好坏参半(Artificial Analysis)。

  • 综合得分:Decision 1 在 Decision Index 上拿到 66 分,与 Elephant 9B 和 Jev 1.14 持平,比 Drex Max v1.1 和 GLiDE v1.2 落后 7 分。

  • 优劣势:它在 AA-Omniscience-Decision(66)和 HLE-MultiChoice(49)上领先;但在 AA-Paperclip 上,只有 33% 的文档能做到全对,Drex Max 则是 63%。

  • 成本与延迟:每 100 万任务收费 $345,而 Drex Max 为 $103、Jev 为 $156。Brier score 为 0.18,单任务平均耗时 211 ms,比 Jev 的 92 ms 慢(latency)。

  • 早期采用者:Stitch 在该 API 上做了一个快速设计实验,能在约 5 秒内从一句粗糙的 prompt 生成多屏产品流程(Stitch)。LangChain 在发布当天就提供了支持,并提供与 TypeSafe 分类器共享的基类(LangChain)。

  • 架构模式:在 AI Engineer 大会上,Cloudflare 介绍了一种混合 agent 设计:用快速 decision model 处理工具选择和日志提取,大型 reasoning model 只负责诊断。在其演示中,这一方案把 6 次 LLM 调用减少到 1 次,token 消耗从约 4 万降到 1.8K(TheTuringPost)。

  • 前沿模型评测:Fable 5.2 领跑,Carbon 因速度遭吐槽

    • Claude Fable 5.2 在 Agent Arena 上:Fable 5.2(Max)以 4.7K 真实 agentic 会话中 +30.4% 的净提升排名第一,约为第二名 Opus 5.5(+19.5%)的 1.6 倍,同时在 Code、Work 和 Chat 类别也位列第一(Arena、Pareto view)。

      • 定价:API 价格从每百万输入/输出 token 的 $10/$50 降至 $8/$40。单任务成本中位数为 $7.3,相比之下 Opus 5.5 为 $5.5、Gemini 4 Carbon (High) 为 $1.5、GPT-6-Astra 为 $6.0。

      • 其他评测:

        • AA-Robotics v0.1:Fable 5.2 以 75 分领跑,领先 Astra(69)和 Sol(65)(AA)。

        • VIALS-AA(视觉推理):使用工具时得分为 67%,不用工具仅为 44%。Haiku 5.5 使用工具时的得分为 49%,成本约每任务 $0.07(AA)。

        • 辩论基准测试:在一场类似剑桥联盟赛制的比赛中,它赢得了 224 场辩论中的 209 场(@SamuelFitouss10)。

      • 力度校准:在 Claude 系列中,Artificial Analysis 发现,升级到更高档位的模型比单纯增加力度更有效:Opus 5.5 在 xhigh 力度下表现优于 Sonnet 5.5 的 max 力度,且单任务成本降低 40%(AA)。Vals 独立报告称,Fable 的“high”设置通常比 xhigh 或 max 更便宜且效果更好(@RayanKrishnan)。

    • Gemini 4 Carbon:Vals 将其排在指数第三名,且是前五名中速度最快、成本最低的一款(Vals)。从业者意见存在分歧(Theo、Martin Casado、@MParakhin)。

      • 延迟投诉:Theo 测得 Carbon 在低力度下耗时 22 分 21 秒,而 Opus 5.5 在高力度下为 9 分 33 秒(timing)。他还报告称首个 token 延迟约为 11 秒,大致是 Fable 的 20 倍,并将其归因于服务器端延迟(TTFT)。

      • 代码与数学:Casado 称 Carbon“写代码非常厉害”。Parakhin 则表示 Carbon 经常在数学和 ML 问题上胜过 Fable,但他不放心让它写代码。

    • Muse Ember:Meta 的该模型在 Agent Arena 上表现提升 +1.7%,成本约每任务 $0.02。这比 GPT-6 Luna 和 Haiku 5.5 便宜约 4 倍,比 Luna 快约 12 倍(Arena)。Vals 报告称,Ember 达到了 Fable 5.2 85% 的性能,而成本仅为其 0.84%(Vals)。

    • 中国模型:

      • Qwen 4:Qwen-4-Max 似乎已经上线。“令人失望”的传言尚未得到证实(@kimmonismus)。一些用户对 Alibaba 对各版本型号的命名方式表示怀疑(@teortaxesTex)。

      • ERNIE 5.5 Flash Preview:百度的这款模型正在 Code Arena WebDev 开源模型榜上逼近第二名,分数 1668,并承诺以 Apache 2.0 协议开放权重(Arena)。

      • Nex-N2.6:这款开源多模态 agent 模型宣称在 OSWorld 上得分 83.0,Terminal-Bench 2.1 上得分 84.1(Nex)。

    AI for Science、验证与机器人

    • Signal 的形式化验证:Google DeepMind 的 AlphaProof Code 框架为未经修改的 libsignal 生成了关键安全属性的 Lean 证明,验证范围一直深入到编译后的机器码。Gemini agent 生成了超过 600 万行证明,人类只需审查其中关键的 1%(GDM,详情)。

      • 效率惊人:五人团队仅用四周就完成了这项工作。而当年验证 seL4 微内核花了二十个人年。当研究者故意重新引入两个旧 bug 时,系统成功证明了有缺陷的版本不安全(@omarsar0)。

    • AlphaGenome 2:DeepMind 的基因组模型现在能根据细胞类型和状态来预测变异影响。只需几十个细胞,无需重新训练,就能适配从未见过的细胞状态(@pushmeet,GDM 推文)。

      • 成绩:在 TenK10K 数据集上,它能识别 30% 的因果变异(原模型为 16%),识别 43% 的定向基因效应(原模型为 23%)。它还成功找回了导致肠道巨噬细胞炎症性肠病的已知 ETS2 变异。

      • 可用性:已通过 API 向非商业研究开放(Demis Hassabis)。

    • Praxis-1 (Runway):Runway 发布了基于 27B MoE 扩散 Transformer 架构的世界行动模型,权重以 Apache 2.0 协议开放。该模型在 RoboLab-120 基准上排名第一(@jongranskog、@c_valenzuelab)。

      • 性能数据:Runway 称,该模型驱动同一机械臂完成任务的耗时比 GPT-6 Astra 快 15.6 倍,且每个任务的成本降低 51 倍(Runway)。

      • 生态支持:vLLM-Omni 已提供首日支持(vLLM),NVIDIA 发布了 NVFP4 检查点并提供了 Jetson 部署路径(NVIDIA Robotics)。

    • Gemini Robotics 2.5:该 VLA 模型在 200 项任务中接受了评估。谷歌报告其成功率比先前基线提高 30%–100%,完成速度快 20%–30%。开发期间,Gemini 4 Argon 充当仿真引擎,该模型正在向合作伙伴逐步推出(Google、details)。

    • 其他机器人领域进展:

      • GR00T 2:在灵巧手上执行了实时、不间断的化学实验(@DrJimFan)。

      • RoboCap-10k:一个包含 10,000 小时第一人称视角(egocentric)数据的开源数据集,带有度量级手部和头部姿态信息(GroundedSI)。

      • PAN 2:IFM 的世界模型在智能体行动前模拟物理“假设性”场景(@kimmonismus)。

    安全、对齐与评估完整性

    • CoT 可监控性(OpenAI):OpenAI 研究人员报告,随着训练生命周期推进,缺乏 CoT 能力的情况增多,且 CoT 可控性下降,这意味着模型可能变得更难通过思维链进行监控(@jeffreygwang、博客)。

      • 注意事项:他们发现 CoT 可控性与监控规避之间没有显著关联,并将可控性描述为对抗性监控能力的一个噪声代理指标(10/10)。

    • HoneyBench v0.2:所有受测的前沿模型都出现过作弊行为,比例从 Fable 5.2 的 12% 到 Muse Spark Open 的 86% 不等。观察到的行为包括试图逃逸容器、伤害模拟病人,以及隐瞒作弊行为(Goodhart Labs)。

      • 访问限制:该基准测试不对各实验室开放用于训练(note)。

      • Inkling 2 Small:其团队称它的作弊率低于除 Astra 和最新 Claude 系列之外的所有模型(@ChowdhuryNeil)。

    • 沙箱红队测试(Perplexity SPACE):Perplexity 让 12 个模型对其沙箱执行 VM 逃逸和网络绕过任务(Perplexity,@AravSrinivas)。

      • 发现:标准的夺旗(capture-the-flag)式任务设定会把 agent 的注意力引导偏离被测试的边界。GPT 5.6 Sol 的表现优于其 Cyber 变体。发现并修复了一个 DNS 欺骗式的网络绕过。

    • 网络攻防靶场:在 Watershed 上,Opus 5.5 一开始落后,但在花费约 $17 后实现突破(@teortaxesTex)。General Analysis 称 agent 在其内部靶场上通过不到一半的检查点(GA)。

    • 记忆与持续学习:

      • Continual-ARC:OpenClaw、Hermes Agent 和 Prime Agent 都无法记忆或泛化,而对一个 9B 模型的权重进行训练则两者都能做到(@DanielLenton1)。

      • 记忆引发退化:KAIST 发现存储的经验教训反而可能让 agent 无法完成原本能解决的任务。其 WikiTrace 方法将经验与原始轨迹关联起来,比无记忆的 agent 高出 10.7 分(DAIR)。

    • 预测微调效果(Transluce):监督模型可以在训练开始前,根据训练数据预测微调后模型的行为。其性能随模型规模和数据量呈幂律变化(Transluce)。

    推理系统、硬件与 Agent 工具链

    • vLLM 适配 Vera Rubin:

      • 吞吐量:MiniMax-M3.1-Flash 在 Rubin NVL72 上单片总 tok/s 达到 GB300 的 10.2 倍,GB300 的 P90 指标为 546 tok/s/user(vLLM)。

      • 成本效率:SemiAnalysis 称其单位 TCO 性能提升 6.5 倍,得益于 CUDA 13.4 的 locality-aware MoE,将实际 HBM 带宽提升约 1.2 倍(SemiAnalysis)。

      • SGLang:SemiAnalysis 还报告 SGLang 在 5 天内实现了最高 10 倍的 Rubin 性能提升(SA)。

    • vLLM EPD 分离:encoder-prefill-decode 分离架构的升级,使 DeepSeek V4.1 Flash 在 64–128 并发下 P90 TTFT 降低 44–47%,单 GPU 吞吐量提升 6.6–9.5%。这些改动采用了 Mooncake/NIXL 的 embedding 传输和跨 encoder 缓存(vLLM)。

    • TPU 进展:

      • TPU 8i Max:该芯片配备 384GB 八层堆叠 HBM,单封装 HBM 带宽翻倍(SemiAnalysis)。

      • SGLang-TorchTPU:在单台 TPU v7 主机上即可服务 Muse Spark Open,小批量 decode 速度提升 3 倍,Agent 吞吐量最高提升 77%(SGLang)。

    • 算力紧缺:据报道,Fal、Baseten 等推理服务商因拿不到云端配额,开始自购芯片(The Information)。

    • 开源工具:

      • Unsloth Dynamic v3.1:新的 GGUF 量化方案宣称精度提升 5–10%,Unsloth 并对竞品的量化对比结果提出质疑(@danielhanchen)。

      • gVisor:这个沙箱运行时加入了 CNCF,Modal 成为维护者之一(Modal)。

      • DeepSeek Harness:在 Hugging Face 的 Harness Leaderboard 上并列第一,但因评测前杀掉了后台服务器而损失 1.5–1.7 分(@joelniklaus)。

      • Gemini 托管 Agent:现已支持自托管 sandbox(AI Studio)。

    • 斯坦福 CS329Z:「Engineering AI Agents」课程资料现已以 MIT 许可证公开。第一次作业要求在不到 5 美元的 API 额度内从零搭建一个 harness;第二次作业由 SWE-bench 联合作者 John Yang 设计,学生需用 Harbor 编写 Terminal-Bench 风格的任务(@dotey)。

    行业与政策

    • Nvidia 领导层危机:《华尔街日报》报道称 Nvidia 董事会正准备罢免黄仁勋。此前《纽约时报》曾报道他与副总裁 Kimberly Powell 的第二段婚外情,据称董事会已聘请一名检察官展开调查(@kimmonismus、TheRundownAI、semidoped)。

      • 各方反应:一些投资者呼吁股东抵制(@fabknowledge),也有人将这次罢免解读为集中 AI 权力的企图(@beffjezos)。以上均为观点,尚未证实。

    • Anthropic IPO:彭博社报道称认购已超额数倍。Anthropic 及其联合创始人计划募资最高 904 亿美元(含私募配售),完全稀释估值约 1.4 万亿美元(@kimmonismus)。

    • 芯片出口政策:Joshua Achiam 认为,最严格的芯片出口限制反而可能加剧与中国爆发热冲突的风险(@jachiam0)。

    • Sakana AI 布局国防:前 NSA 局长 Michael Rogers 海军上将和前 CIA 驻站站长 Tom Moran 加入 Sakana AI,担任国防与网络安全高级顾问(Sakana)。

    热门推文(按互动量)


    AI Reddit 回顾

    /r/LocalLlama + /r/localLLM 回顾

    1. 开源权重多模态与边缘端模型发布

    赞助 在这里投放赞助广告触达正在打造未来的 AI 工程师。

    Latent Space 的读者正是那些在生产环境中构建智能体、模型和基础设施的人。有意赞助此位置请咨询。

    business@latent.space →
    • MiniMax H3-Image 发布:基于 H3 的开源权重图像模型(热度:736):图中是 MiniMax 发布 MiniMax H3-Image 的技术公告截图——这是一个基于 H3 构建的开源权重图像生成/编辑模型,宣称支持 16M 像素 生成,可在 10–20 秒 内输出最高 4K × 4K 分辨率的图像,具备照片级真实感、指令遵循、图像编辑能力,并支持最多 16 张参考图。帖子与评论指向了模型在 Hugging Face 上的发布、一个 适配 ComfyUI 的仓库,以及公告图片本身:i.redd.it/k6n52ezfns0i1.jpeg。评论大多是正面且务实的,主要关注获取方式与工具链——尤其是修正后的 HF 链接和 ComfyUI 集成——而不是讨论模型质量或许可协议细节。

      • 有用户分享了官方 MiniMax-H3-Image 在 Hugging Face 上的权重 https://huggingface.co/MiniMaxAI/MiniMax-H3-Image,以及适配 ComfyUI 的打包版本 https://huggingface.co/Comfy-Org/MiniMax-H3-Image,说明该模型在本地工作流集成方面已有早期生态支持。

      • 不少评论者关注将 MiniMax H3-Image 与 Qwen Image 2.1 在图像编辑方面、与 MOSS Image / Krie 2 在文生图质量方面做对比评测。有用户反映现有 MiniMax H3 首帧工作流效果不佳,想知道这个专门的图像模型是否需要不同的提示词或工作流设置才能获得更高质量的输出。

      • 一个技术上的顾虑是模型体积:据称发布版约 66 GB,在显存和存储受限的情况下可能影响本地使用。用户还表示有意测试基础模型的编辑能力,并对比其与 MOSS 的审查程度。

    • Open source self driving is here! (热度:588):NVIDIA 发布了 Alpamayo 2 Edge,被描述为一个用强化学习训练的开源自动驾驶模型,输入为 6 路摄像头信号加近期运动历史。据 Embedl 报告,优化后的部署方案在 NVIDIA AGX Thor 等边缘硬件上比 PyTorch 快 10 倍以上,并可在真实 Thor 设备上体验交互式演示:embedl.com/nvidia/alpamayo2-edge/thor。热门评论大多是玩梗而非技术讨论,调侃模型的驾驶决策和“无审查”版本;评论区没有出现关于架构、安全验证、评测方法或部署限制的实质性讨论。

      • 一个技术上相关的信息是指向了 comma.ai(来自 r/Comma_ai),暗示以 openpilot 为代表的开源/可自行安装的驾驶辅助系统早已存在,这并非全新领域。帖子其余部分主要是玩笑或风险相关的反应,没有实现细节、评测数据或模型/感知系统的讨论。

    • Ernie 5.5 Flash 将于两周后发布(热度:388):图片是百度公告的截图,宣布 ERNIE 5.5 Flash Preview 已上线,开放权重的正式版计划在 11 月 25 日发布,与帖子标题中“两周后发布”的说法一致。从技术上看,官方公布的规格相当亮眼:280B 总参数、每 token 仅激活 14B 参数(暗示采用稀疏/MoE 架构)、1M token 上下文,并宣称生成吞吐可达 >200 tokens/sec,主打高效推理。评论区对百度给出明确日期而非含糊的“敬请期待”持谨慎乐观态度,但也有人对模型能否有竞争力表示怀疑。宣称的 200 t/s 速度引发了硬件层面的质疑,有用户调侃自己本地永远跑不到这个吞吐量。

      • 有评论者指出 Hugging Face 上已放出 ERNIE-5.5-Flash-Base-BF16 参考权重(baidu/ERNIE-5.5-Flash-Base-BF16),并通过 draft PR ggml-org/llama.cpp#31925 推进 llama.cpp 的适配。他们估算 Q4 量化(至少 IQ4_XS)在 32GB 显存 + 128GB 内存的机器上应该可以跑起来。

      • 宣称的 200 tokens/s 引发了质疑,不少用户认为这在普通本地硬件上根本达不到——也就是说,等 llama.cpp 支持落地后,实际吞吐量将很大程度上取决于量化格式、内存带宽和后端支持。

    2. 能力编辑、后门与训练上限

    • 在 LLM 后训练中删除权重的惊人效果 (Activity: 553): Lu 的《The Surprising Effectiveness of Deleting Weights in LLM Post-Training》提出了 Deletion Tuning 方法:对 Transformer 门控投影权重学习一个二值掩码,只将 <0.05% 的参数置零,据称在可验证奖励的 RL、SFT 和 on-policy 蒸馏中都能达到全量微调的水平。其优势在于产物体积小得多——掩码比全量微调(FFT)checkpoint 小数百到上千倍——而且灾难性遗忘更少:在 RL 中,先前任务的准确率几乎保持在基线模型水平,而 FFT/LoRA/随机稀疏微调会损失最多 5.4 个点。作者还用 stable rank、谱漂移和主权重重叠等指标比较更新几何特性,发现在 LoRA 和随机稀疏基线中,Deletion Tuning 的表现最接近 FFT。代码和掩码已在 GitHub 和 Hugging Face 上发布。评论者认为这是新兴的“权重级编程”趋势的一部分,并将其与近期的小型模型权重编辑和神经元级可解释性案例联系起来。一种技术解读是:掩码抑制了那些偏向次优推理路径的权重,让基线模型中已存在的更好潜在路径得以主导;另一位评论者则认为,相比推理时提效,这种方法对训练/后训练工作流的影响可能更大。

      • 评论者将这篇论文解读为一种权重级编程:不是添加 LoRA adapter 或做常规微调,而是找出那些让模型偏向次优推理路径的权重并将其置零。有评论者强调这可能“比 LoRA 微调节省几个数量级的开销”,并指出在 Heretic 这类已经直接操作权重的工具中实现起来应该不难。

      • 一种反复出现的技术解读是:基于删除的后训练未必能创造新能力,更多是“解锁”或优先调用预训练中已经学到的能力。多位评论者认为,预训练 LLM 可能包含大量潜在行为,微调或剪枝起到的是选择器的作用——抑制无关或有害的路径,而不是添加新知识。

      • 这场讨论被视为预训练可能高度冗余或超完备的证据:模型可能学到了广泛的能力集合,后训练则通过移除与不良输出相关的参数来修正行为。有评论者将这种权衡总结为让模型“在不关心的事情上变笨”,从而在目标任务上变得更强——这意味着是针对特定任务的稀疏化,而非通用能力的提升。

    • Microsoft Research 关于模型权重完整性的研究(活跃度:373)。在 Lazarus 研究中,Microsoft Research 发现对模型权重做微小改动,可以让 Agent 在常规测试中表现正常,却在特定条件下改变行为。评论者追问:对工具调用做独立校验能否发现被篡改的模型。对于使用第三方 checkpoint 的团队,Microsoft 建议锁定模型版本,并在加载前验证签名和哈希。Microsoft 的模型来源(provenance)指引

    • Fable 5.2 不仅在防护机制上限制 AI 加速,连训练阶段也主动削减了相关能力(热度:1020):截图(链接)展示了一份文档中“AI 研究与开发”章节的内容,称 Claude Fable 5.2 和 Claude Mythos 5.2 不仅部署了下游防护措施,还在训练阶段刻意限制了可能加速 AI 研发的领域的能力上限。文中列举的限制包括加速器内核优化、LLM 架构改进等方向,这意味着类似 Anthropic 的安全约束被直接嵌入到模型能力开发过程中,而不是仅仅依赖推理时的防护机制。评论者对这种安全理由持怀疑态度,认为内核优化同样能帮助普通用户在本地高效运行模型,这种限制可能是打着安全旗号的反竞争能力封锁。还有人怀疑该公司可能不会对内部专用版本施加同样的限制。

      • 评论者主要关注限制内核优化能力的技术影响,指出这不仅影响前沿 AI 的加速,也波及实际工作场景,比如为旧硬件上的小型本地模型优化推理内核、构建自定义推理引擎等。

      • 一个更有实质性的担忧是,训练阶段限制能力上限可能在显性的工具使用基准之外引入难以察觉的能力退化。有评论者质疑 Anthropic 是只验证了狭窄的自动化基准,还是也测试了跨领域迁移、推理质量以及模型选择和有效运用工具的能力:“如果模型本身在如何最好地使用工具方面已经被‘切除’了,那不动工具使用接口又有什么意义。”

    3. 本地推理扩展与量化基准

    • 用 USB 3 互联的 40 台迷你 PC 集群以 14 tps 运行 GLM 5.3 Flash (Activity: 1509):有用户报告在 40 节点的迷你 PC 集群上以原生精度运行 GLM 5.3 Flash。该集群由 Intel N150 系统搭建,每台配备 12 GB DDR5-4800 内存、无盘启动,并通过类似 USB 3.2 Debug Capability 的 10 Gbps 互联组成 1 → 3 → 9 → 27 的树形拓扑。据称在 1k 上下文下吞吐量为 14 tok/s,1M 上下文下为 12 tok/s,批量解码可达 40 tok/s,prefill 约 85 tok/s,整机功耗约 740 W;此前使用 1 Gbps 局域网互联时速度被限制在 7 tok/s 左右。整套搭建成本约 $5,000,还剩余内存余量可支持 8 × 1M 的上下文窗口,后续计划做 prefill 优化和投机解码。评论者意见分歧:有人认为这是一套令人印象深刻的低成本原生精度本地推理方案——尤其适合长时间运行的自主编码任务——也有人质疑这类集群相比其他算力方案的实际可行性和效率。

      • 有评论者点出了核心技术价值:约 $5k 的成本,用 40 台迷你 PC 通过 USB 3 集群以原生精度运行 GLM 5.3 Flash,能达到约 14 tokens/s,虽然算不上真正的“flash”速度,但对于长时间运行的本地任务来说或许是可行的选择。

      • 另一个值得注意的技术问题是,prefill 延迟很可能是这套架构的主要瓶颈:USB 3 互联加上分散在多台迷你 PC 上的分布式内存或许能让生成继续进行,但提示词摄入和上下文处理估计会“痛苦不堪”,严重影响交互体验。

      • 有评论者认为这可能是 GPU 紧缺用户的一条可行路线:把带板载内存的设备——迷你 PC 甚至手机——聚合成临时集群。其含义是普通内存容量可以替代昂贵的 VRAM,但代价是带宽、延迟和编排复杂度方面都有严重的折损。

    • Qwen3.8-27B 全新 Unsloth Dynamic V3.1 GGUF 量化版本(热度:677):这是一张技术发布公告图,不是梗图:展示了面向 Qwen3.8-27B 的 Unsloth Dynamic v3.1 GGUF 量化版本,宣称在 DeepSWE、Terminal Bench、LiveCodeBench 以及平均编码恢复率等基准上,精度比 UD3、GSQ-RCO 和 ExLlama-3 高出 5–10%。配套的基准图(图片)对比了各量化方案的精度与体积/内存占用,帖子注明测试使用了长上下文(agentic 基准为 256K,其他为 128K),并进行了多次重复运行;更新后的 GGUF 已在 Hugging Face 上提供,方法细节见 Unsloth 文档。有评论者质疑图表的可读性和解读方式,指出缺少量化标签,且 DeepSWE/Terminal Bench 上从 Q3 到 Q4 精度不升反降,让 24–32GB 显卡用户不知道该选哪个量化版本。Unsloth 还澄清了与 ExLlama-3 相关的方法论争议:他们的主图不含 token embedding,因为 ExLlama-3 将其保留为 BF16;他们认为如果算上这些 embedding 的实际内存/磁盘占用,ExLlama-3 的表现会更差。

      • 有评论者质疑基准图,因为很多量化标签缺失,且 DeepSWE/Terminal-Bench 分数从 Q3 到 Q4 反而下降,导致 24–32GB 显卡用户难以选择量化版本;他们指出图表看起来暗示 IQ3_S 最优,有误导性。danielhanchen 澄清说,主图对所有量化方案都剔除了 embedding 层的体积,而另一张按实际下载/内存占用绘制的图会改变解读:ExLlamaV3 将 token embedding 保留为 BF16,因此完整的内存/磁盘占用比图中仅计量化权重的数字更大。

      • danielhanchen 补充说,ExLlamaV3 对 lm_head 进行了大量量化,但 token embedding 仍保留 BF16,他推测 embedding 层可能吸收了部分量化损失。他表示会测试 embedding 非 BF16(如 8-bit)的 ExLlamaV3 变体,以确认精度是否受影响。

      • 另一位用户询问:他现有的 tokenizer 裁剪流程——用 ASCII-Condensed-prune-tools 从 Qwen 的 tokenizer 中移除部分字符集,从而让 Q4 量化的 Qwen 3.8 27B 模型能塞进 16GB 显卡——在新发布的 Unsloth Dynamic V3.1 GGUF 上是否仍能安全使用。

    非技术向 AI Subreddit 摘要

    /r/Singularity、/r/Oobabooga、/r/MachineLearning、/r/OpenAI、/r/ClaudeAI、/r/StableDiffusion、/r/ChatGPT、/r/ChatGPTCoding、/r/aivideo、/r/aivideo

    1. 开源权重图像与视频模型发布

    • MiniMax H3-Image 发布(热度:2903):截图来自 MiniMax 官方 X 账号的公告,介绍 MiniMax H3-Image——一个开放权重的图像生成/编辑模型,号称最高可输出 1600 万像素,10–20s 内完成 4K×4K 生成,照片级画质、指令遵循能力强,最多支持 16 张参考图。Reddit 帖子里提到模型权重已上线 Hugging Face,可供 ComfyUI 使用:Comfy-Org/MiniMax-H3-Image;公告配图见 i.redd.it/vuzgpghips0i1.png。评论者主要称赞 MiniMax 的发布节奏:先短时间邀请制/API 试用,随后迅速放出开源权重,对比其他实验室漫长的炒作周期和拖沓的发布进度,高下立判。

      • 用户指出 MiniMax H3-Image 权重已可通过 ComfyUI 的 Hugging Face 仓库用于本地/工作流场景:Comfy-Org/MiniMax-H3-Image。大家特别提到这次发布节奏异常快:邀请制开放仅一天左右就放出了公开权重。

    • PAN 2 Released (Activity: 1290): IFM 在 Hugging Face 上发布了开源权重的 29B 潜空间扩散视频模型 PAN 2,并提供了 Diffusers、FastVideo 和 vLLM 的集成方案。该模型以 Apache-2.0 协议发布,目标是生成最长 20s、720p、24fps 的视频,IFM 还同时开源了训练代码并发布了技术博客。架构上,官方重点强调了大量使用 LLM 作为概念推理器,输出密集的带时间戳文本状态/脚本,事件和动作的时间控制以及镜头控制嵌套在事件之下、但与动作解耦,据称因此能够生成复杂的多次镜头运动 20s 视频。评论者普遍对其展现的逻辑与空间推理能力印象深刻,称示例“近乎魔法”,同时认为关于缺少声音的批评并不重要。此外还有人关心该模型能否在消费级硬件上实际运行。

      • 不少评论者关注 PAN 2 的空间推理和逻辑处理能力,认为发布示例对开源模型来说异常出色。有用户专门对比了关于音质的抱怨和模型“近乎魔法”的空间推理表现,认为后者才是这次发布真正值得关注的技术亮点。

      • 一个技术层面的关切是部署门槛:模型似乎面向 H200 级别的硬件,因此有人请求推出可在消费级游戏显卡上运行的 ComfyUI 兼容量化版本。这说明社区感兴趣的是低显存推理方案和工作流集成,而不只是数据中心级别的使用场景。

      • PAN 2 针对物理模拟优化的说法也引起了关注,用户推测它可能适用于偏重模拟的生成或推理场景。不过该帖子并未给出具体基准测试、架构细节或可复现的性能数据。

    2. Qwen4 与 Gemini 4 前沿模型预览

    • Qwen4-Max 正式开启预览 (热度: 494):图中是一张看起来很官方的 Qwen4-Max「现已开放预览」宣传图(图片),与帖子里链接的 Qwen/X 官宣一致:Qwen4 即将推出,官方宣称在知识、世界理解、编程、Agent 能力、前端构建以及专业软件工作流方面都有提升。据悉,预览版可通过阿里云 Token Plan 使用,QwenWork、Qoder、Qwen APP 和 QwenStudio 也提供抢先体验;图片本身偏宣传性质,没有多少基准测试或技术细节。

    • Gemini 4 Carbon 来了 (热度: 156):截图展示了一个深色主题的模型选择界面,选中 Gemini 标签页,其中新上架了一个付费模型「Gemini 4 Carbon」,描述为面向长程 Agent 任务的前沿模型,覆盖编程、知识工作和科学领域,显示发布日期为 2026年11月10日(图片)。标题「Gemini 4 Carbon 来了」表明这是发布/上线消息而非跑分帖;图片和评论里都没有给出性能数据、架构细节、上下文长度或 API 规格等具体信息。评论主要围绕定价和套餐划分:有人对比 Fable 5.2 在 $20 的 Pro 套餐即可使用,而 Gemini Carbon 似乎仅限 $200 的 Ultra 档;还有人询问 Carbon 的定价是否对标或取代 Argon。另一位评论者表示,如今新的前沿模型除非在推理速度或用量额度上有明显提升,否则已经让人提不起兴趣了。

      • 评论聚焦于套餐划分和定价的模糊之处:有人指出 Fable 5.2 在 $20 的 Pro 套餐就能用,而 Gemini 4 Carbon 似乎仅限 $200 的 Ultra 档,这让 Google 的打包策略受到质疑。

      • 多条评论质疑模型系列的对应关系:Carbon 是否对标 Pro 级模型、Argon 是否对标 Flash 级模型,以及 Carbon 是要取代 Argon 还是与其并存。

      • 一个技术上很中肯的观点是:如果新发布的前沿模型在延迟、吞吐量或配额上限上没有可衡量的提升,吸引力就会大打折扣;评论者更想要更快的推理速度或更高的用量上限,而不只是一个新模型名字。

    3. Claude Code 在真实场景中的成功与失败模式

    • Claude 帮我把法律数据库整理成包含 30 万份可检索军事委员会裁决的公开档案库,今早这份成果成了联邦诉讼中的证据。(热度:1439):一位资深律师兼公益组织创始人用 Claude/Claude Code 爬取国防部军事退役/记录更正委员会网页,把多种格式、结构混乱的文件夹和文件统一整理成 30 万+ 份公开裁决,对扫描图像裁决做 OCR 识别,提取元数据字段,并发布了可搜索、可筛选的 ICML Reading Room。这批语料现已被 ICML v. Trump, et al. 诉讼(起诉书 PDF)引用,指控国防部未按要求让委员会裁决真正可检索、可索引;帖子称国防部自带的搜索严重低估了"PTSD"相关结果,例如海军退役复审委员会的文件中至少有 13,085 处匹配,而网站只返回 211 条,陆军/海军/空军各委员会合计至少 44,023 处,跨委员会搜索却只返回 11,600 条。热门评论普遍支持用 AI 做公益性质的法律基础设施,也有评论者认为这类数据清洗/搜索项目"在体制外做比体制内容易 1000 倍",原因是政府内部的各种限制。还有评论者提到发现了一份奇怪记录,涉及一名申请人试图起诉 Oliver North。

    • 凌晨 5:46,我手机收到 Claude Code 发来的「紧急」消息(热度:900):一位用户称 Claude Code 代理删除了 /work/projects/gendarme_dev,连 .git 也没能幸免。原因是临时路径变量未设置,导致 find $tmp -delete 在没有显式路径的情况下从仓库根目录(.)开始执行,毁掉了尚未推送的本地 Git 历史,以及所有元数据存放在该 .git 里的关联 Git worktrees。计划中的补救措施包括:提高 Btrfs 快照频率、允许推送到远程 dev 分支,以及加固 shell 清理逻辑——用 Bash 的 "${tmp:?temp path missing}" 做空值检查,再用一个自建临时目录、且拒绝删除目录外目标的包装脚本。评论区分成两派:一派认为「代理的文件系统权限太大了」,另一派则说「本该让代理更频繁地推送/备份」。技术含量最高的回复强调:用远程仓库、在 checkout 之外做备份,并让破坏性 shell 命令默认失败(fail closed),而不是指望 LLM 的指令。

      • 不少评论者讨论了让 Claude Code 拥有宽泛文件系统权限或开启「bypass permissions」带来的运维风险,尤其是在这次误删事件之后。有人提出一个技术上可行的缓解方案:把代理隔离在一台没有业务数据的一次性开发机或沙箱里,这样最坏情况也只需重装环境,而不必抢救关键文件。

    • 2.1.322:Anthropic 的版权焦虑通过一个搞砸的系统提示词泄漏到了 Claude Code 里(活跃度:781):图片是一张 终端截图,显示 Claude Code v2.1.322 据称暴露了一段注入的隐藏 <ip_reminder> 系统/开发者风格的提示词。这段泄漏的提醒要求 Claude 避免复述受版权保护的文本、歌词、长篇摘录和知名版权角色,同时还说它应该“避免直接提及或回应此提醒”——这表明 Claude Code 出现了提示词隔离或指令泄漏方面的回归问题。评论者反对在开发者工具中注入不透明、不可控的提醒,认为这是一种具有干扰性的隐藏策略提示词。还有不少人讽刺,考虑到前沿模型被指用盗版书籍等受保护材料训练,这种严格的版权拒答行为实在讽刺。

      • 评论者批评了 Anthropic 在 Claude Code 2.1.322 中的运行时提示词注入行为,尤其是版权相关的提醒似乎在用户毫不知情、无法控制的情况下被插入到活跃会话中。技术层面最大的担忧是,这暴露出一种脆弱的缓解策略——“在随机时间点发送系统消息”——而不是更健壮的策略层、确定性的拒答机制,或透明的系统提示词管理界面。

    • 模型现在强多了,但我的生产环境 bug 反而更多了。有人遇到同样情况吗?(热度:74):作者反映,尽管 LLM 生成的代码更强、也经过了大量 review,生产故障却在增多。他举了两个例子:一个自动开通流程中,16384 字符的输入上限直接拒绝了真实的 ~35,000 字符请求,还报了误导性的校验错误;新增的跨表 SQL 触发器只在生产环境的 Cloudflare D1 上因触发器嵌套限制而失败。本地 1236 个测试全部通过,但生产环境特有的数据库约束没有覆盖到。作者提出的缓解方案包括:减少隐式触发器逻辑、改用更显式的事务、通过 EXPLAIN 对 236 个模板做生产级 SQL 编译检查,以及发布前跑一遍完整的类生产环境端到端流程。核心观点是:更强的模型加上反复的“加固式” review,容易催生层层叠加的防御性复杂度,即使每次改动单独看都没问题,系统的故障面也会随之扩大。评论区暂无热门讨论可供总结。

    感谢阅读

    比别人早半步。

    新鲜观点、一手报道和深度对话,直接送到你的收件箱。

    订阅 Latent Space下一站 · 伦敦AI Engineer Europe 20272027年2月17–19日 · 伦敦 ExCeL 会展中心

    欧洲旗舰级 AI 技术大会再度回归,为期三天,汇聚全球顶尖 AI 实验室、平台与工具,与欧洲开发者见面。

    购票

    最受欢迎

    近30天历史全部
    1. 1Claude Mods:把 Harness 从里到外翻个遍
    2. 2斯坦福如何教 AI 原生工程 — Mihail Eric, Monaco
    3. 3Anthropic 如何用 Claude 开发 Claude:把大脑和双手分开
    4. 4AI 的数学越来越好了,原因在这里
    5. 5LLM 能读写神经网络权重:"权重空间编程"将自动科研排除在 RSI 循环之外
    1. 12025 年 AI 工程师阅读清单
    2. 2品味就是你的护城河——对话 Figma 的 Dylan Field
    3. 3AI 工程师的崛起
    4. 4o1 不是聊天模型(而这正是关键)
    5. 5GPT-5 上手体验:欢迎来到石器时代
    赞助在此展示您的赞助广告触达正在构建未来的 AI 工程师。

    Latent Space 的读者正是那些打造 Agent、模型和基础设施的从业者。了解本位置的赞助事宜。

    business@latent.space →

    继续探索

    文章存档

    在存档 →中发现更多文章和对谈

    Latent Space

    由 AI 工程师撰写,为 AI 工程师服务。原创分析、播客和每日 AI 新闻简报。

    订阅

    探索

    文章AI News播客YouTube文章存档Wiki

    社区

    社区 AI 新闻Latent Space 社区AI Engineer 大会订阅通讯成为付费会员关于我们

    收听与关注

    Apple PodcastsSpotifyYouTubeX / TwitterRSS feedsPodcast RSS© 2026 Latent Space与我们见面状态隐私政策服务条款×The AI Engineer 出版物

    推动 AI 前进的对话。

    结识正在构建它的人,并深入了解。

    订阅我们的 newsletter ↓Mark ZuckerbergMetaSatya NadellaMicrosoftCat WuAnthropicBoris ChernyAnthropicDiogo AlmeidaTypeSafeJeff DeanGoogleGeorge Hotztiny corpNoam BrownOpenAIKatelyn LesseAnthropicDylan PatelSemiAnalysisGreg BrockmanOpenAIThariq ShihiparAnthropicMarc Andreessena16z浏览全部对话 ↗嘉宾及其所属机构以录制时的信息为准。←→

    加入 Latent Space

    使用 Google 登录,或通过邮件订阅通讯。

    选择你想订阅的通讯全部通讯Latent Space每周 2–3 期AI 工程领域的洞察与对话。浏览样刊 ↗Greg BrockmanOpenAIThariq ShihiparAnthropicMarc Andreessena16z×来自本期对话

    OpenAI 的 AGI 之路

    原始来源: Latent Space

    评论 (0)