Meta Muse Spark Open：基于NVIDIA GB300扩展Agentic编码工作流

Meta 推出 Muse Spark Open，这是一个面向编程优化的 816B mixture-of-experts (MoE) 模型，激活参数 42B，上下文窗口达 1M token。该模型在 NVIDIA GB300 NVL72 Blackwell Ultra 上专门针对 agentic coding 工作流训练，首次尝试成功率更高，工具调用更可靠，并能深入理解跨仓库的代码库。1M token 的上下文窗口可以装下整个项目——包括复杂依赖、遗留代码和数千个文件——无需把任务拆成碎片。

作为一款推理模型，Muse Spark Open 在图像和文档理解之外还加入了音频与视频感知，能原生、可靠地处理它看到、听到和读到的内容。Meta 生成的 NVFP4 checkpoint 针对 NVIDIA Blackwell Ultra 做了优化，借助原生 FP4 Tensor Core 加速，把全部 816B 参数的内存占用大幅压缩。每个 token 需要搬运的字节数更少，从而提升每个用户的 tokens per second；省下的内存还能支撑更大的 KV cache，支持并发的长上下文会话，最终带来更高吞吐和更低的单 token 成本。

为 agentic coding 而生，全面理解文本、图像、视频和音频

通用编程模型是为一次性补全优化的，比如生成一个函数、写一个单元测试，或给出内联修复建议。它们擅长那些上下文小、答案即时给出的离散、边界清晰的任务。而 agentic coding 需要的根本不同的能力：规划跨多个文件的重构、在数千个文件中导航、从失败的测试中恢复，以及长时间协调多个 subagent——这都需要一个为持续性多步骤工作而打造的模型。

Muse Spark Open 专为这类工作负载设计，具备更高的首次尝试准确率、可靠的工具调用能力，以及跨仓库的深度代码库理解。它通过规划、行动、观察和自我修正的闭环执行。模型支持多步骤任务执行，涵盖工具使用、输出评估及迭代优化。通过目标条件设定保持方向一致性，并利用上下文压缩保留长会话中维持进度所需的关键信息。凭借 1M token 的上下文窗口，它能在不将任务拆解片段的情况下，完整承载整个项目，包括复杂依赖、遗留代码和数千个文件。

除编码外，该模型还能搜索网络（包括多模态浏览），为可分解任务生成并协调子智能体，并利用统一了桌面、移动设备和浏览器的计算机操作能力。每次行动前，模型会生成独立的注释，让开发者清楚智能体在做什么以及原因。

该模型内置 1.8B 感知编码器，原生处理交错排列的文本、图像、视频帧和音频，无需为每种模态建立独立处理管线。这意味着模型能在单次统一推理中处理其“看到”、“听到”和“阅读”的内容。这一特性非常适合跨越同一智能体会话中的截图、图表、错误日志和视频演示等开发者工作流。稀疏 MoE 路由每个 token 仅激活 816B 总参数中的 42B，以同级密集模型服务成本的一小部分，提供了前沿的智能体能力。

Muse Spark Open 在 GB300 NVL72 上的优化性能

“

NVIDIA GB300 NVL72 采用机架级架构，将 72 块 NVIDIA Blackwell Ultra GPU 集成到单一平台中。它拥有 72-GPU 的 NVIDIA NVLink 域，可支持 130 TB/s 的高效通信，从而消除专家流量跨越传统现成网络时出现的瓶颈。对于像 Muse Spark Open 这样的稀疏 MoE 模型，每个 token 会路由到 256 个专家中的 8 个，该带宽直接决定了部署能实现多少理论吞吐量。

智能体工作负载将静态的单轮交互转变为多步工作流，进行推理、调用工具、协调子智能体，并在各轮次间传递不断增长的上下文。开箱即用的 Muse Spark Open 在 NVIDIA GB300 NVL72 上运行智能体工作负载时，可实现每 GPU 最高 50K 每秒、每用户 600 tokens 每秒，使 AI 工厂能够以高吞吐量和低延迟在生产环境中运行大参数模型。

Muse Spark Open 的灵活部署选项

NVIDIA 支持多种推理技术栈，以满足不同开发者的需求。SGLang、vLLM 和 TensorRT LLM 让开发者可以在 NVIDIA 加速计算平台上直接掌控服务配置、并行策略和批处理方式。其中 TensorRT LLM 还提供了针对 NVIDIA GPU 优化的编译引擎。NVIDIA Dynamo 为这三种技术栈都提供了部署方案，并将 prefill 与 decode 分离到不同的 GPU 资源池中，避免计算密集的提示词处理拖慢 token 生成速度。其感知 KV cache 的路由机制会把每个请求发给已持有相关前缀缓存的 worker，在长时 agentic 会话中上下文不断累积时也能省去重复计算。

使用 NeMo AutoModel 和 Megatron Bridge 对 Muse Spark Open 进行后训练

开发者可以使用 NVIDIA NeMo AutoModel 在领域专用数据集上对 Muse Spark Open 进行后训练。这是一个基于 PyTorch 的原生训练库，可直接加载 Hugging Face checkpoint，无需模型转换。它开箱即用地支持全量 SFT 和 LoRA 微调，并针对各类行业场景下的快速实验做了优化。

当需要开展大规模生产级训练、以充分利用各项优化时，开发者还可以借助 NVIDIA Megatron Bridge 将 Hugging Face checkpoint 转换为 Megatron 格式。

开始在 GPU 上加速运行 Muse Spark Open

入门指南：从 Hugging Face 下载 Muse Spark Open NVFP4 权重。若进行生产环境部署，可试用 可下载的 NVIDIA NIM。该 NIM 将部署简化为一条命令，替代了基准测试和调优流程，自动为检测到的硬件选择最优的服务后端和精度。