← 文章 / 开源项目
Hacker News 9天前 · 2026-11-13 18:15:58 · 12 阅读

Edge0-145B:在个人电脑上运行前沿AI能力

今天,我们正式开源 Edge0-145B 和 Edge0-120B,同时提供统一的推理框架与部署工具。Edge0-145B 是首款开源端侧 AI 模型,拥有 1450 亿参数。它能在个人电脑上提供与前沿云端模型相媲美的编程、推理及智能体能力。

端侧 AI 长期面临模型能力与硬件运行极限之间的权衡。大模型需要更多的内存、带宽和功耗,而小模型往往难以处理复杂任务。将任务移至云端则会带来模型提供商费用、数据处理限制以及网络连接依赖。

本次发布从四个方面解决了这些限制:

受限之处 Edge0-145B 带来的突破
大型模型难以在个人硬件上运行。 145B 模型可在兼容的笔记本电脑本地运行,实测峰值内存占用为 29GB,解码速度超过 80 tokens/s。
小型端侧模型在复杂任务上表现乏力。 如下方对比所示,其在编程、推理及指令遵循方面的结果可媲美特定的前沿云端模型。
有用的助手不仅回答问题,还需完成任务。 该模型能进行规划、编写并运行代码、调试错误,并通过视觉检查结果,适用于 3D 场景、游戏、硬件程序及 PCB 设计等项目。
云端工作流涉及经常性费用、敏感数据限制及网络依赖。 本地推理无需支付对应的云端模型 token 或 API 费用;数据可保留在本地,核心功能支持离线使用。硬件与电力成本仍需自担。

我们已发布完整技术栈,以便开发者复现结果、评估或微调模型,并将其集成到自己的产品中。

获取 模型权重,探索 推理框架,或试用 Edge0 App。

如何让 100B+ 参数 AI 在个人电脑上运行

Edge0-145B 笔记本电脑性能:内存、速度与功耗

Edge0-145B 让一个 1450 亿参数的模型在个人笔记本上跑得起来。一个实用的本地模型必须装得进内存、快速处理提示词、生成速度够用,还要控制好功耗,并且能撑住更长时间的任务。

需求 Edge0-145B 报告数据 带来的能力
内存 峰值内存 29GB 无需服务器即可在兼容的个人笔记本(如 MacBook Pro)上运行。
提示词处理 prefill 超过 1,100 tokens/s 在开始生成之前处理长提示词,包括几十页的代码。
生成速度 decode 超过 80 tokens/s 生成速度快于人的阅读速度。
功耗 典型功耗约 120W 在报告的测试环境中可持续运行,不触发降频。
长任务 128K–256K 上下文 在长输入下速度基本不变,支持长时间连续工作。

我们此前发布的手机端模型 Edge0-35B 报告峰值内存低于 2.5GB。在 iPhone 18 Pro Max 上,Edge0-35B 以约 2.5GB 的内存达到 37+ tokens/s。Edge0-145B 的参数量约为其四倍;笔记本端的数据是 80+ tokens/s、峰值内存 28GB。这两组数据来自不同的模型和硬件,不能直接对比。

Image

端侧模型规模随时间的变化。图中涵盖 14 个实验室发布的 67 个参数量不低于 1B 的开放模型,面向手机、笔记本和 AI PC。同一规模的 base、instruct 和 reasoning 变体只计一次;每条线追踪各实验室最大的模型,包括 2025 年 7 月之前的发布。实心点表示创新高,空心点为其他发布。40B 以下采用对数坐标,以上为线性坐标。Apple 因未开源权重而未纳入。数据来源:厂商公告和模型卡片。

端侧模型为何一直偏小

在 2026 年 9 月之前,内存限制使得大多数端侧模型的参数量难以突破 10B。Apple Intelligence 的端侧基础模型参数量约为 3B,而 Google Gemini Nano 则有 1.8B 和 3.25B 两种版本。即便一个 7B 模型的内存占用也大约在 4GB 左右。

更大规模的模型遭遇了一道“内存墙”。模型权重不仅占用存储空间,生成过程中还需反复读取,与操作系统及其他应用争夺本就有限的内存和带宽。即便是经过激进压缩的 35B 模型,仍需约 20GB 内存,远超手机所能提供的容量。

算力、带宽和功耗构成了相互制约的瓶颈。模型越大能力越强,但同时也加剧了对内存容量、生成速度和电池续航的压力。将模型做小虽有助于解决适配问题,却往往以牺牲能力为代价。

仅靠隐私保护无法填平这一差距。Apple Intelligence 虽保护了用户数据,但苹果也承认其端侧模型并非为需要通识世界知识的 Agentic 应用而设计。当时的主流观点认为,端侧智能无法匹敌云端。

Edge0 内幕:模型与推理设计的四层架构

我们协同设计了 Edge0-145B 及其推理引擎,旨在降低导致大模型难以在本地运行的内存占用与数据搬运量。该设计贯穿架构、训练、加载及调度四个层面。

架构:跨稀疏专家共享大型矩阵。矩阵共享在保持专家数量不变的前提下,大幅减少了需要存储和传输的权重。每 64 个专家共用两个大型矩阵,同时每个专家保留一小部分参数以捕捉其差异性。此前,每个专家都存储一整套完整矩阵。在该模型 145B 的总参数中,每个推理步骤仅有约 10B 参数参与计算。

训练:从第一天起就为本地执行而构建。我们在设计之初就基于端侧架构训练模型,将部署限制融入其中。这避免了先训练云端模型,再将本地部署视为压缩或剪枝步骤的做法。

加载:流水线式调度 GPU 显存、系统内存和 SSD 访问。读取与计算在三层存储之间重叠进行,避免串行等待。常用的“热专家”常驻 GPU 显存;约 40GB 的专家库放在系统内存中,按需调入 GPU;约 48GB 的词表数据存放在 SSD 上,用时才读取。

调度:CPU 与 GPU 协同工作。GPU 计算已缓存的专家,同时 CPU 并行处理其余工作。投机解码一次验证多个候选 token,把读取权重的开销摊到更多输出 token 上。这些设计共同支撑了官方公布的 80+ tokens/s 解码速度。

Image

模型与推理引擎协同设计,让 100B+ 参数的推理在个人电脑上成为现实。来源:内部测试。

这些改进让参数量从数百亿提升到超过千亿,而显存占用、功耗和延迟却无需同比例增长。

Edge0 能做什么:从聊天到在你电脑上完成复杂工作

Edge0-145B 能把复杂任务一路推进到可用的结果。它的代码与推理能力足以支撑本地工作流,涵盖规划、工具调用、执行、调试和可视化检查。跑分证明了它的能力,演示则展示了它如何落地。

代码与推理能力比肩前沿云端模型

Edge0-145B 在代码、推理、知识和指令遵循方面可与某些前沿云端模型一较高下:

  • 代码:在 DeepSWE 1.1 上得分 64.6,领先 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
  • 推理与知识:在 GPQA-Diamond 上得分 90.4,接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 \(Max\) 的 91.3。
  • 指令遵循:在 IFBench 上得分 80.6,领先 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 \(Max\) 的 62.5。

其在 Terminal-Bench 2.1 上取得的 86.52 分也超过了 Qwen3.8-Flash-Next(83.3分)、DeepSeek-V4-Flash-0731(82.7分)以及 Claude(78.2分)。在 AA-LCR 基准中,Edge0-145B 得分为 79.3,略高于 Claude 的 78.0。上述对比仅适用于表中列出的具体模型与评测基准。

模型 DeepSWE 1.1 Terminal-Bench 2.1 HLE GPQA-Diamond IFBench AA-LCR
Edge0-145B 64.6 86.52 35.4 90.4 80.6 79.3
Edge0-120B 53.6 81.3 31.0 87.4 79.3 81.0
Qwen3.8-Flash-Next 58.7 83.3 35.9 91.7 81.3 79.1
Qwen3.8-27B 42.2 73.0 30.8 89.2 79.5 82.0
DeepSeek-V4-Flash-0731 54.4 82.7 33.8 90.8 79.2 79.7
Flint 40B — 54.9 — — 89.2 —
Muse Glimmer — 51.7 22.0 83.5 77.0 83.3
Gemma 4 — 43.4 22.7 85.7 76.0 62.0
Claude-Opus-4.6 \(Max\) — 78.2 40.0 91.3 62.5 78.0

分数均为百分比,数值越高越好。破折号表示暂无公开分数,并非零分。

Edge0、Qwen、DeepSeek 和 Claude 的结果源自 Edge0 的内部评估。Claude-Opus-4.6 没有公开的 DeepSWE 1.1 分数。对于 Flint、Muse Glimmer 和 Gemma 4,Terminal-Bench 2.1 和 IFBench 的结果来自 Recursive Flint 评估;HLE、GPQA 和 AA-LCR 的结果来自 Artificial Analysis。

相较于 Qwen3.8-27B 这一主流端侧模型基准,Edge0 在智能体与编程任务上的提升最为显著:Terminal-Bench 提升 18.5%,DeepSWE 提升 53.1%。在 HLE、GPQA 和 IFBench 上的相对提升分别为 14.9%、1.3% 和 1.4%。

DeepSWE 1.1 和 Terminal-Bench 2.1 用于评测 Agent 能力和代码能力;HLE、GPQA-Diamond 和 IFBench 则覆盖推理、知识和指令遵循。完整的评测配置、硬件环境和复现步骤会随技术报告一同发布。

Image

更小的内存占用,同级的模型能力

Edge0-145B 在六项基准上取得 72.8 的平均分,实测峰值内存仅 29GB。Qwen3.8-Flash-Next 平均分为 71.7,按标准 4-bit 部署估算内存约 70GB。也就是说,Edge0-145B 的内存占用只有基线模型的 40% 左右,能力却相当甚至更强,可以跑在 48GB 内存的笔记本上。

模型 六项基准平均分 内存占用(实测或估算)
Edge0-145B 72.8 29GB
Edge0-120B 68.9 29GB
Qwen3.8-27B 66.1 约 18GB*
Qwen3.8-Flash-Next 71.7 约 70GB*
DeepSeek-V4-Flash-0731 70.1 约 87GB*

平均分涵盖 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR 六项基准。Edge0 的内存数据为内部实测峰值;带星号的基线数据是按标准 4-bit 部署的估算值,尚待实测。Claude 因仅提供云端服务且没有 DeepSWE 成绩而未列入对比。

Image

[图示:质量与峰值内存的关系,标注了 48GB 笔记本和 64GB 工作站的内存上限。内存越低、得分越高越好;纵轴并非从零开始。]

能规划、写代码、执行并自查的本地 Agent

一句自然语言指令就能启动完整的本地工作流:Edge0-145B 会拆解需求、规划步骤、编写代码并调用工具运行。运行出错时,它会自行调试修复代码,随后截图检查结果,不断迭代直到任务完成。

这些项目通常需要经历数十轮规划、执行与评审。本地推理意味着额外的对话、代码修订和视觉分析不再产生相应的云端模型 Token 或 API 费用。代码和数据可以保留在本地,且核心模型能力支持离线运行。

视频制作:一小时内生成特斯拉 Roadster 解析视频

Edge0-145B 制作了一个关于 Roadster 如何飞行的解析视频,涵盖技术调研、剧本创作、素材生成和剪辑。我们要求它以普通观众能理解的方式阐述原理。该模型在本地运行,无需调用云端模型或消耗云端 Token,避免了推理过程中的网络往返延迟。

视频在一小时内生成。如果手动制作类似作品,需要导演、编剧、3D 建模师、剪辑师和物理专家花费一个月时间。此前,AI 视频工作流的成本可能高达数百美元;本地推理消除了相应的云端模型 Token 和 API 费用。

3D 建模:在 Blender 中创建曼哈顿城市场景

Edge0-145B 在一小时内构建了一个曼哈顿的 3D 场景。基于文本和参考图片,在 Blender 中完成了场景搭建、材质与灯光调整,并对渲染输出进行了迭代优化。

该工作流将视觉检查、代码生成和修改整合在 Blender 内部。模型操作的是对象、空间关系和创意目标,超越了参考图片中的像素层面。它检查结果、编写代码并进行修改,无需将这些步骤交还给人工处理。整个过程均保持本地运行。

手动创建曼哈顿规模的城市场景,通常成本约为 1.2 万至 1.8 万美元,且耗时至少一个月。领先的云端模型仍会产生超过 150 美元的云端 Token 费用。Edge0-145B 完成本地推理,无需支付此类云端模型 Token 费用。

游戏开发:可玩的游戏与中世纪城市

Edge0-145B 可以在本地创建可玩的游戏。我们还利用其 3D 建模能力,为一款奇幻 RPG 游戏构建了一座原创的中世纪首都,并渲染了一段 20 秒 的电影级质量飞行展示视频。

模型独立规划了这座城市的布局,并在 Blender 中从零搭建:城墙、一千多栋老城民居、广场喷泉、哥特式双塔立面、肋拱中殿和彩色玻璃窗。

固定机位的拍摄路径让错误无处遁形。几何穿插、遮挡或比例失真都会在镜头行进中暴露出来,因此模型会检查渲染结果,边搭建边修正。整个流程完全在本地运行。

某个顶尖云端模型在相同提示词、参考图和镜头路径下,完成一次生成需要数百次工具调用和数亿 token。而 Edge0-145B 在一台笔记本电脑上就搞定了,本地推理不产生云端模型的 token 或 API 费用。艺术团队按这个水准制作一个城市场景,通常要花数周时间和数千美元。

硬件控制:让真实无人机飞起来的代码

Edge0-145B 只凭一句指令就为真实无人机写出了程序:“写一个无人机程序,穿越障碍物并找到一个红色背包。”

它在本地生成了飞行控制和视觉识别程序。随后无人机在室内起飞,穿越一排密集的障碍杆,自主搜索,并定位到墙边的红色背包。整个过程不需要任何人工编写的代码,也不调用云端。

硬件开发者只需描述想要的行为,模型就能把它变成真实设备的程序,无需在编辑器、文档和调试工具之间反复切换。

PCB 设计:从 KiCad 布局到装配动画

Edge0-145B 完成了一个 PCB 设计从元件布局到装配可视化的全过程。我们让它给自己设计一块板子。它在 KiCad 中从零开始,放置元件,完成两层板布线,再把设计导入 Unreal Engine 5,接着设置相机和灯光,渲染出 PCB 制造与装配的动画。

一台电脑就完成了原本需要硬件工程师和 3D 设计师来回交接、耗时数天的工作。原理图和板级布局可以留在团队自己的硬件上,无需上传到云端模型,从而满足商业机密保护和数据处理要求。

为什么叫 Edge0:端侧 AI 的完整技术栈

让端侧 AI 真正有用,需要模型开发、推理工程和硬件适配三者协同。我们的进展建立在三大能力之上:快速开发互补模型、全栈优化,以及将每次部署的经验教训应用到下一轮。

我们在 9 月发布的 Edge0-35B 展示了这种思路在手机上能带来什么。其发布文章在没有海外社区付费推广的情况下,首日阅读量突破 120 万次。OpenAI、NVIDIA、高通等公司的研究人员和技术专家分享了这篇文章,该模型还登上了 Hugging Face 总趋势榜第一名。

我们同时发布了模型权重和统一推理框架,为企业和研究人员提供了一套可复现的标准方案。这次发布推动了端侧 AI 的讨论从数十亿参数级别推进到 35B 级别。

面向端侧 AI 的四大模型家族

过去一年,我们发布了 200 个模型,涵盖四个家族。它们各自负责不同的任务,从听、说到快速决策、记忆,再到复杂的 Agent 任务。

模型家族 角色 模型与能力
Edge0 复杂 Agent 任务与 Vibe Coding 面向笔记本的 145B 和 120B 模型;面向手机的 35B 和 8B 模型。笔记本模型支持 Vibe Coding,手机模型支持 Agent 任务。
Audio8 听与说 用于语音识别的 ASR-Infinite 以及 3B、0.6B、0.1B ASR 模型;用于语音合成的 0.6B 和 0.1B TTS 模型;以及用于端到端语音交互的 0.1B Chat 模型。
Decision0 快速决策 覆盖文本、语音和视觉的 0.6B 和 3B 模型,多模态决策耗时约 40 毫秒。
Embedding0 记忆 0.6B 多模态 Embedding 模型,支持文本、语音、图像、视频和文件,可用于本地长期记忆与检索增强生成(RAG)。
Image

整个产品组合的参数量从数千万到超过千亿不等。Edge0 和 Audio8 都曾登上 Hugging Face 趋势榜第一名。

模型与推理系统协同设计

我们把模型和推理框架放在一起研发,在训练阶段就纳入硬件约束,并针对不同芯片优化推理引擎。这样一来,模型能力就能与本地运行所需的软硬件紧密衔接。

这项工作需要同时精通模型研发、推理框架和底层硬件适配,而专注模型研发的公司很难同时具备这几方面能力。

可复用的硬件优化,延续到每次部署

每次部署积累的优化经验,都能复用到下一款芯片、模型或产品上。这一点很重要,因为端侧硬件高度碎片化:NPU 架构各不相同,对 INT4、INT8、FP4 等数值格式的支持也不一致。通用模型无法自动充分利用每一款芯片。

我们针对各个平台逐一适配,目前已覆盖 95% 的主流芯片平台,包括 Qualcomm、BES、Rockchip、Allwinner、D-Robotics 和 NVIDIA,应用场景涵盖耳机、眼镜、手机、PC 和机器人。这是整个产品组合层面的覆盖率;各模型需求不同,并不意味着每台设备都能跑 Edge0-145B。

这些部署工作目前已覆盖超过 500 万台量产设备。我们的开源模型三个月内下载量突破 1500 万次。截至 2026 年 10 月,客户组织已超过 11 万家。

上述产品组合数据来自公司论文和内部测试,描述的是整个 Edge0 产品组合;本文中的 145B 性能结果仅针对 Edge0-145B。

Edge0-145B 首发即支持 macOS、Windows 和 Linux,包括 Apple M 系列芯片,以及 RTX Spark、RTX 4090、RTX 5090 等 NVIDIA 平台。发布内容包含一键部署工具和硬件指南。

端侧 AI 与云的未来

随着本地模型逐步逼近云端水平,更复杂的任务也可以留在设备上完成。隐私、成本控制和离线使用一直 favor 本地执行,剩下的唯一问题就是端侧模型能不能胜任这些任务。Edge0-145B 扩大了它能胜任的范围。

为什么越来越多的 AI 任务可以留在本地

本地执行能解决纯云端 AI 落地的四个实际障碍:

  • 控制云端模型成本。本地推理不随使用量增长产生相应的云端模型 token 或 API 费用。
  • 让敏感数据留在本地。代码、文档和商业记录可以直接存储在硬件上,让团队掌控数据的处理流程。
  • 保持响应体验。模型与推理引擎的设计综合考量了响应速度、能耗、系统响应度和持续运行能力。
  • 离线状态下保留核心能力。当网络连接中断时,本地任务依然可以继续执行;依赖在线信息或服务的功能则仍需网络连接。

从云端优先到端侧处理更复杂的工作

我们认为,设备与云端之间的工作划分正在经历三个阶段的变化。

2026年9月之前:云端优先,端侧为辅。Apple Intelligence 就体现了这一阶段:它保护了隐私,但只能在本地处理有限范围的任务,更复杂的工作则依赖云端能力。

Edge0-35B 于9月10日发布之后:日常任务本地化,复杂任务上云端。本地模型开始承担那些需要即时响应的高频请求。对于一家领先的耳机制造商,我们的混合方案现在将92%的 AI 使用场景放在端侧处理,8%放在云端。在日常对话场景中,消费级可穿戴设备的大部分用例都在本地完成。

随着 Edge0-145B 的出现:迈向端侧优先,云端支持。Vibe coding 和其他复杂任务现在可以在个人电脑上运行,让团队有更多选择本地执行的空间。这扩大了可以在设备上完成的工作范围,同时保留云端处理那些确实需要它的任务和硬件。

Image

该图展示了从云端优先的 AI 到日常本地任务,再到更复杂本地工作的转变。图中的彩色区域仅为示意,并非实测的使用份额。

云端 AI 仍然适用的场景

硬件限制仍然决定了哪种模型适合。算力、发热和电池续航都很重要:Edge0-35B 可以运行在手机上,而 Edge0-145B 则运行在配备相应硬件的笔记本电脑上。超低算力的设备目前无法在本地运行 145B 模型。它需要一个适合其硬件的更小模型,或者通过云端访问同量级的模型。

跨设备的长期记忆,以及需要最新信息的搜索,仍然依赖云服务。本地模型与云端模型可以协同工作,具体如何分工取决于任务、硬件以及所需的信息。

我们的目标是让本地运行成为处理高要求任务的实用选择,用一个能力强大的模型让计算始终贴近使用者。这也是我们迈向"零距离智能,人人可用"这一愿景的下一步。

开始使用 Edge0

下载模型在本地运行,进行评估或微调,并集成到你自己的产品中:

如需硬件或产品层面的合作,可通过 GitHub 联系 Edge0 团队,或发邮件至 contact@autoark.ai。

原始来源: Hacker News

评论 (0)