Edge0-145B:在个人电脑上运行前沿AI能力
今天,我们正式开源 Edge0-145B 和 Edge0-120B,同时提供统一的推理框架与部署工具。Edge0-145B 是首款开源端侧 AI 模型,拥有 1450 亿参数。它能在个人电脑上提供与前沿云端模型相媲美的编程、推理及智能体能力。
端侧 AI 长期面临模型能力与硬件运行极限之间的权衡。大模型需要更多的内存、带宽和功耗,而小模型往往难以处理复杂任务。将任务移至云端则会带来模型提供商费用、数据处理限制以及网络连接依赖。
本次发布从四个方面解决了这些限制:
| 受限之处 | Edge0-145B 带来的突破 |
|---|---|
| 大型模型难以在个人硬件上运行。 | 145B 模型可在兼容的笔记本电脑本地运行,实测峰值内存占用为 29GB,解码速度超过 80 tokens/s。 |
| 小型端侧模型在复杂任务上表现乏力。 | 如下方对比所示,其在编程、推理及指令遵循方面的结果可媲美特定的前沿云端模型。 |
| 有用的助手不仅回答问题,还需完成任务。 | 该模型能进行规划、编写并运行代码、调试错误,并通过视觉检查结果,适用于 3D 场景、游戏、硬件程序及 PCB 设计等项目。 |
| 云端工作流涉及经常性费用、敏感数据限制及网络依赖。 | 本地推理无需支付对应的云端模型 token 或 API 费用;数据可保留在本地,核心功能支持离线使用。硬件与电力成本仍需自担。 |
我们已发布完整技术栈,以便开发者复现结果、评估或微调模型,并将其集成到自己的产品中。
获取 模型权重,探索 推理框架,或试用 Edge0 App。
如何让 100B+ 参数 AI 在个人电脑上运行
Edge0-145B 笔记本电脑性能:内存、速度与功耗
Edge0-145B 让一个 1450 亿参数的模型在个人笔记本上跑得起来。一个实用的本地模型必须装得进内存、快速处理提示词、生成速度够用,还要控制好功耗,并且能撑住更长时间的任务。
| 需求 | Edge0-145B 报告数据 | 带来的能力 |
|---|---|---|
| 内存 | 峰值内存 29GB | 无需服务器即可在兼容的个人笔记本(如 MacBook Pro)上运行。 |
| 提示词处理 | prefill 超过 1,100 tokens/s | 在开始生成之前处理长提示词,包括几十页的代码。 |
| 生成速度 | decode 超过 80 tokens/s | 生成速度快于人的阅读速度。 |
| 功耗 | 典型功耗约 120W | 在报告的测试环境中可持续运行,不触发降频。 |
| 长任务 | 128K–256K 上下文 | 在长输入下速度基本不变,支持长时间连续工作。 |
我们此前发布的手机端模型 Edge0-35B 报告峰值内存低于 2.5GB。在 iPhone 18 Pro Max 上,Edge0-35B 以约 2.5GB 的内存达到 37+ tokens/s。Edge0-145B 的参数量约为其四倍;笔记本端的数据是 80+ tokens/s、峰值内存 28GB。这两组数据来自不同的模型和硬件,不能直接对比。
端侧模型规模随时间的变化。图中涵盖 14 个实验室发布的 67 个参数量不低于 1B 的开放模型,面向手机、笔记本和 AI PC。同一规模的 base、instruct 和 reasoning 变体只计一次;每条线追踪各实验室最大的模型,包括 2025 年 7 月之前的发布。实心点表示创新高,空心点为其他发布。40B 以下采用对数坐标,以上为线性坐标。Apple 因未开源权重而未纳入。数据来源:厂商公告和模型卡片。
端侧模型为何一直偏小
在 2026 年 9 月之前,内存限制使得大多数端侧模型的参数量难以突破 10B。Apple Intelligence 的端侧基础模型参数量约为 3B,而 Google Gemini Nano 则有 1.8B 和 3.25B 两种版本。即便一个 7B 模型的内存占用也大约在 4GB 左右。
更大规模的模型遭遇了一道“内存墙”。模型权重不仅占用存储空间,生成过程中还需反复读取,与操作系统及其他应用争夺本就有限的内存和带宽。即便是经过激进压缩的 35B 模型,仍需约 20GB 内存,远超手机所能提供的容量。
算力、带宽和功耗构成了相互制约的瓶颈。模型越大能力越强,但同时也加剧了对内存容量、生成速度和电池续航的压力。将模型做小虽有助于解决适配问题,却往往以牺牲能力为代价。
仅靠隐私保护无法填平这一差距。Apple Intelligence 虽保护了用户数据,但苹果也承认其端侧模型并非为需要通识世界知识的 Agentic 应用而设计。当时的主流观点认为,端侧智能无法匹敌云端。
Edge0 内幕:模型与推理设计的四层架构
我们协同设计了 Edge0-145B 及其推理引擎,旨在降低导致大模型难以在本地运行的内存占用与数据搬运量。该设计贯穿架构、训练、加载及调度四个层面。
架构:跨稀疏专家共享大型矩阵。矩阵共享在保持专家数量不变的前提下,大幅减少了需要存储和传输的权重。每 64 个专家共用两个大型矩阵,同时每个专家保留一小部分参数以捕捉其差异性。此前,每个专家都存储一整套完整矩阵。在该模型 145B 的总参数中,每个推理步骤仅有约 10B 参数参与计算。
训练:从第一天起就为本地执行而构建。我们在设计之初就基于端侧架构训练模型,将部署限制融入其中。这避免了先训练云端模型,再将本地部署视为压缩或剪枝步骤的做法。
加载:流水线式调度 GPU 显存、系统内存和 SSD 访问。读取与计算在三层存储之间重叠进行,避免串行等待。常用的“热专家”常驻 GPU 显存;约 40GB 的专家库放在系统内存中,按需调入 GPU;约 48GB 的词表数据存放在 SSD 上,用时才读取。
调度:CPU 与 GPU 协同工作。GPU 计算已缓存的专家,同时 CPU 并行处理其余工作。投机解码一次验证多个候选 token,把读取权重的开销摊到更多输出 token 上。这些设计共同支撑了官方公布的 80+ tokens/s 解码速度。
模型与推理引擎协同设计,让 100B+ 参数的推理在个人电脑上成为现实。来源:内部测试。
这些改进让参数量从数百亿提升到超过千亿,而显存占用、功耗和延迟却无需同比例增长。
Edge0 能做什么:从聊天到在你电脑上完成复杂工作
Edge0-145B 能把复杂任务一路推进到可用的结果。它的代码与推理能力足以支撑本地工作流,涵盖规划、工具调用、执行、调试和可视化检查。跑分证明了它的能力,演示则展示了它如何落地。
代码与推理能力比肩前沿云端模型
Edge0-145B 在代码、推理、知识和指令遵循方面可与某些前沿云端模型一较高下:
- 代码:在 DeepSWE 1.1 上得分 64.6,领先 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
- 推理与知识:在 GPQA-Diamond 上得分 90.4,接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 \(Max\) 的 91.3。
- 指令遵循:在 IFBench 上得分 80.6,领先 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 \(Max\) 的 62.5。
其在 Terminal-Bench 2.1 上取得的 86.52 分也超过了 Qwen3.8-Flash-Next(83.3分)、DeepSeek-V4-Flash-0731(82.7分)以及 Claude(78.2分)。在 AA-LCR 基准中,Edge0-145B 得分为 79.3,略高于 Claude 的 78.0。上述对比仅适用于表中列出的具体模型与评测基准。
| 模型 | DeepSWE 1.1 | Terminal-Bench 2.1 | HLE | GPQA-Diamond | IFBench | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 35.4 | 90.4 | 80.6 | 79.3 |
| Edge0-120B | 53.6 | 81.3 | 31.0 | 87.4 | 79.3 | 81.0 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 35.9 | 91.7 | 81.3 | 79.1 |
| Qwen3.8-27B | 42.2 | 73.0 | 30.8 | 89.2 | 79.5 | 82.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 33.8 | 90.8 | 79.2 | 79.7 |
| Flint 40B | — | 54.9 | — | — | 89.2 | — |
| Muse Glimmer | — | 51.7 | 22.0 | 83.5 | 77.0 | 83.3 |
| Gemma 4 | — | 43.4 | 22.7 | 85.7 | 76.0 | 62.0 |
| Claude-Opus-4.6 \(Max\) | — | 78.2 | 40.0 | 91.3 | 62.5 | 78.0 |
分数均为百分比,数值越高越好。破折号表示暂无公开分数,并非零分。
Edge0、Qwen、DeepSeek 和 Claude 的结果源自 Edge0 的内部评估。Claude-Opus-4.6 没有公开的 DeepSWE 1.1 分数。对于 Flint、Muse Glimmer 和 Gemma 4,Terminal-Bench 2.1 和 IFBench 的结果来自 Recursive Flint 评估;HLE、GPQA 和 AA-LCR 的结果来自 Artificial Analysis。
相较于 Qwen3.8-27B 这一主流端侧模型基准,Edge0 在智能体与编程任务上的提升最为显著:Terminal-Bench 提升 18.5%,DeepSWE 提升 53.1%。在 HLE、GPQA 和 IFBench 上的相对提升分别为 14.9%、1.3% 和 1.4%。
DeepSWE 1.1 和 Terminal-Bench 2.1 用于评测 Agent 能力和代码能力;HLE、GPQA-Diamond 和 IFBench 则覆盖推理、知识和指令遵循。完整的评测配置、硬件环境和复现步骤会随技术报告一同发布。
更小的内存占用,同级的模型能力
Edge0-145B 在六项基准上取得 72.8 的平均分,实测峰值内存仅 29GB。Qwen3.8-Flash-Next 平均分为 71.7,按标准 4-bit 部署估算内存约 70GB。也就是说,Edge0-145B 的内存占用只有基线模型的 40% 左右,能力却相当甚至更强,可以跑在 48GB 内存的笔记本上。
| 模型 | 六项基准平均分 | 内存占用(实测或估算) |
|---|---|---|
| Edge0-145B | 72.8 | 29GB |
| Edge0-120B | 68.9 | 29GB |
| Qwen3.8-27B | 66.1 | 约 18GB* |
| Qwen3.8-Flash-Next | 71.7 | 约 70GB* |
| DeepSeek-V4-Flash-0731 | 70.1 | 约 87GB* |
平均分涵盖 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR 六项基准。Edge0 的内存数据为内部实测峰值;带星号的基线数据是按标准 4-bit 部署的估算值,尚待实测。Claude 因仅提供云端服务且没有 DeepSWE 成绩而未列入对比。
[图示:质量与峰值内存的关系,标注了 48GB 笔记本和 64GB 工作站的内存上限。内存越低、得分越高越好;纵轴并非从零开始。]
能规划、写代码、执行并自查的本地 Agent
一句自然语言指令就能启动完整的本地工作流:Edge0-145B 会拆解需求、规划步骤、编写代码并调用工具运行。运行出错时,它会自行调试修复代码,随后截图检查结果,不断迭代直到任务完成。
这些项目通常需要经历数十轮规划、执行与评审。本地推理意味着额外的对话、代码修订和视觉分析不再产生相应的云端模型 Token 或 API 费用。代码和数据可以保留在本地,且核心模型能力支持离线运行。视频制作:一小时内生成特斯拉 Roadster 解析视频
Edge0-145B 制作了一个关于 Roadster 如何飞行的解析视频,涵盖技术调研、剧本创作、素材生成和剪辑。我们要求它以普通观众能理解的方式阐述原理。该模型在本地运行,无需调用云端模型或消耗云端 Token,避免了推理过程中的网络往返延迟。
视频在一小时内生成。如果手动制作类似作品,需要导演、编剧、3D 建模师、剪辑师和物理专家花费一个月时间。此前,AI 视频工作流的成本可能高达数百美元;本地推理消除了相应的云端模型 Token 和 API 费用。
3D 建模:在 Blender 中创建曼哈顿城市场景
Edge0-145B 在一小时内构建了一个曼哈顿的 3D 场景。基于文本和参考图片,在 Blender 中完成了场景搭建、材质与灯光调整,并对渲染输出进行了迭代优化。
该工作流将视觉检查、代码生成和修改整合在 Blender 内部。模型操作的是对象、空间关系和创意目标,超越了参考图片中的像素层面。它检查结果、编写代码并进行修改,无需将这些步骤交还给人工处理。整个过程均保持本地运行。
手动创建曼哈顿规模的城市场景,通常成本约为 1.2 万至 1.8 万美元,且耗时至少一个月。领先的云端模型仍会产生超过 150 美元的云端 Token 费用。Edge0-145B 完成本地推理,无需支付此类云端模型 Token 费用。
游戏开发:可玩的游戏与中世纪城市
Edge0-145B 可以在本地创建可玩的游戏。我们还利用其 3D 建模能力,为一款奇幻 RPG 游戏构建了一座原创的中世纪首都,并渲染了一段 20 秒 的电影级质量飞行展示视频。
模型独立规划了这座城市的布局,并在 Blender 中从零搭建:城墙、一千多栋老城民居、广场喷泉、哥特式双塔立面、肋拱中殿和彩色玻璃窗。
固定机位的拍摄路径让错误无处遁形。几何穿插、遮挡或比例失真都会在镜头行进中暴露出来,因此模型会检查渲染结果,边搭建边修正。整个流程完全在本地运行。
某个顶尖云端模型在相同提示词、参考图和镜头路径下,完成一次生成需要数百次工具调用和数亿 token。而 Edge0-145B 在一台笔记本电脑上就搞定了,本地推理不产生云端模型的 token 或 API 费用。艺术团队按这个水准制作一个城市场景,通常要花数周时间和数千美元。
硬件控制:让真实无人机飞起来的代码
Edge0-145B 只凭一句指令就为真实无人机写出了程序:“写一个无人机程序,穿越障碍物并找到一个红色背包。”
它在本地生成了飞行控制和视觉识别程序。随后无人机在室内起飞,穿越一排密集的障碍杆,自主搜索,并定位到墙边的红色背包。整个过程不需要任何人工编写的代码,也不调用云端。
硬件开发者只需描述想要的行为,模型就能把它变成真实设备的程序,无需在编辑器、文档和调试工具之间反复切换。
PCB 设计:从 KiCad 布局到装配动画
Edge0-145B 完成了一个 PCB 设计从元件布局到装配可视化的全过程。我们让它给自己设计一块板子。它在 KiCad 中从零开始,放置元件,完成两层板布线,再把设计导入 Unreal Engine 5,接着设置相机和灯光,渲染出 PCB 制造与装配的动画。
一台电脑就完成了原本需要硬件工程师和 3D 设计师来回交接、耗时数天的工作。原理图和板级布局可以留在团队自己的硬件上,无需上传到云端模型,从而满足商业机密保护和数据处理要求。
为什么叫 Edge0:端侧 AI 的完整技术栈
让端侧 AI 真正有用,需要模型开发、推理工程和硬件适配三者协同。我们的进展建立在三大能力之上:快速开发互补模型、全栈优化,以及将每次部署的经验教训应用到下一轮。
我们在 9 月发布的 Edge0-35B 展示了这种思路在手机上能带来什么。其发布文章在没有海外社区付费推广的情况下,首日阅读量突破 120 万次。OpenAI、NVIDIA、高通等公司的研究人员和技术专家分享了这篇文章,该模型还登上了 Hugging Face 总趋势榜第一名。
我们同时发布了模型权重和统一推理框架,为企业和研究人员提供了一套可复现的标准方案。这次发布推动了端侧 AI 的讨论从数十亿参数级别推进到 35B 级别。
面向端侧 AI 的四大模型家族
过去一年,我们发布了 200 个模型,涵盖四个家族。它们各自负责不同的任务,从听、说到快速决策、记忆,再到复杂的 Agent 任务。
| 模型家族 | 角色 | 模型与能力 |
|---|---|---|
| Edge0 | 复杂 Agent 任务与 Vibe Coding | 面向笔记本的 145B 和 120B 模型;面向手机的 35B 和 8B 模型。笔记本模型支持 Vibe Coding,手机模型支持 Agent 任务。 |
| Audio8 | 听与说 | 用于语音识别的 ASR-Infinite 以及 3B、0.6B、0.1B ASR 模型;用于语音合成的 0.6B 和 0.1B TTS 模型;以及用于端到端语音交互的 0.1B Chat 模型。 |
| Decision0 | 快速决策 | 覆盖文本、语音和视觉的 0.6B 和 3B 模型,多模态决策耗时约 40 毫秒。 |
| Embedding0 | 记忆 | 0.6B 多模态 Embedding 模型,支持文本、语音、图像、视频和文件,可用于本地长期记忆与检索增强生成(RAG)。 |
整个产品组合的参数量从数千万到超过千亿不等。Edge0 和 Audio8 都曾登上 Hugging Face 趋势榜第一名。
模型与推理系统协同设计
我们把模型和推理框架放在一起研发,在训练阶段就纳入硬件约束,并针对不同芯片优化推理引擎。这样一来,模型能力就能与本地运行所需的软硬件紧密衔接。
这项工作需要同时精通模型研发、推理框架和底层硬件适配,而专注模型研发的公司很难同时具备这几方面能力。
可复用的硬件优化,延续到每次部署
每次部署积累的优化经验,都能复用到下一款芯片、模型或产品上。这一点很重要,因为端侧硬件高度碎片化:NPU 架构各不相同,对 INT4、INT8、FP4 等数值格式的支持也不一致。通用模型无法自动充分利用每一款芯片。
我们针对各个平台逐一适配,目前已覆盖 95% 的主流芯片平台,包括 Qualcomm、BES、Rockchip、Allwinner、D-Robotics 和 NVIDIA,应用场景涵盖耳机、眼镜、手机、PC 和机器人。这是整个产品组合层面的覆盖率;各模型需求不同,并不意味着每台设备都能跑 Edge0-145B。
这些部署工作目前已覆盖超过 500 万台量产设备。我们的开源模型三个月内下载量突破 1500 万次。截至 2026 年 10 月,客户组织已超过 11 万家。
上述产品组合数据来自公司论文和内部测试,描述的是整个 Edge0 产品组合;本文中的 145B 性能结果仅针对 Edge0-145B。
Edge0-145B 首发即支持 macOS、Windows 和 Linux,包括 Apple M 系列芯片,以及 RTX Spark、RTX 4090、RTX 5090 等 NVIDIA 平台。发布内容包含一键部署工具和硬件指南。
端侧 AI 与云的未来
随着本地模型逐步逼近云端水平,更复杂的任务也可以留在设备上完成。隐私、成本控制和离线使用一直 favor 本地执行,剩下的唯一问题就是端侧模型能不能胜任这些任务。Edge0-145B 扩大了它能胜任的范围。
为什么越来越多的 AI 任务可以留在本地
本地执行能解决纯云端 AI 落地的四个实际障碍:
- 控制云端模型成本。本地推理不随使用量增长产生相应的云端模型 token 或 API 费用。
- 让敏感数据留在本地。代码、文档和商业记录可以直接存储在硬件上,让团队掌控数据的处理流程。
- 保持响应体验。模型与推理引擎的设计综合考量了响应速度、能耗、系统响应度和持续运行能力。
- 离线状态下保留核心能力。当网络连接中断时,本地任务依然可以继续执行;依赖在线信息或服务的功能则仍需网络连接。
从云端优先到端侧处理更复杂的工作
我们认为,设备与云端之间的工作划分正在经历三个阶段的变化。
2026年9月之前:云端优先,端侧为辅。Apple Intelligence 就体现了这一阶段:它保护了隐私,但只能在本地处理有限范围的任务,更复杂的工作则依赖云端能力。
Edge0-35B 于9月10日发布之后:日常任务本地化,复杂任务上云端。本地模型开始承担那些需要即时响应的高频请求。对于一家领先的耳机制造商,我们的混合方案现在将92%的 AI 使用场景放在端侧处理,8%放在云端。在日常对话场景中,消费级可穿戴设备的大部分用例都在本地完成。
随着 Edge0-145B 的出现:迈向端侧优先,云端支持。Vibe coding 和其他复杂任务现在可以在个人电脑上运行,让团队有更多选择本地执行的空间。这扩大了可以在设备上完成的工作范围,同时保留云端处理那些确实需要它的任务和硬件。
该图展示了从云端优先的 AI 到日常本地任务,再到更复杂本地工作的转变。图中的彩色区域仅为示意,并非实测的使用份额。
云端 AI 仍然适用的场景
硬件限制仍然决定了哪种模型适合。算力、发热和电池续航都很重要:Edge0-35B 可以运行在手机上,而 Edge0-145B 则运行在配备相应硬件的笔记本电脑上。超低算力的设备目前无法在本地运行 145B 模型。它需要一个适合其硬件的更小模型,或者通过云端访问同量级的模型。
跨设备的长期记忆,以及需要最新信息的搜索,仍然依赖云服务。本地模型与云端模型可以协同工作,具体如何分工取决于任务、硬件以及所需的信息。
我们的目标是让本地运行成为处理高要求任务的实用选择,用一个能力强大的模型让计算始终贴近使用者。这也是我们迈向"零距离智能,人人可用"这一愿景的下一步。
开始使用 Edge0
下载模型在本地运行,进行评估或微调,并集成到你自己的产品中:
- 模型权重: Hugging Face 上的 Edge0-145B 和 Edge0-120B。
- 推理框架与部署指南: GitHub 上的 Edge0。
- 无需配置环境即可体验: 下载 Edge0 App。核心模型能力可离线使用,无需账号,也没有用量限制。
- 社区: 加入我们的 Discord。
如需硬件或产品层面的合作,可通过 GitHub 联系 Edge0 团队,或发邮件至 contact@autoark.ai。