在 Apple Silicon Mac 本地通过 MLX 或 MPS 运行 Jev 结构化决策模型

方案简介

这条配方面向 Mac 用户：在没有 NVIDIA GPU 的 Apple Silicon 机器上，用 vllm-jev 的 Mac 安装脚本把后端切换为 MLX（或对 Laya 模型用 PyTorch MPS），即可用与 Linux 完全相同的 vllm-jev serve 命令在本地跑起结构化决策服务。典型演示是 Valen 2B 在 Apple M5 上本地回答 GameQA Maze 的六道图像题，并通过 HTTP 响应实时显示。适合想在 Mac 上本地推理、做隐私优先或离线场景的开发者。

亮点与能力

• 文本模型支持 MLX 与 PyTorch MPS 两种后端
• Valen 多模态决策通过 MLX 运行
• 与 Linux 相同的 /v1/systemone 决策 API（Choice、Noul、Score）
• 一条命令自动下载并准备 Hugging Face 模型
• 支持图像、部分模型支持短视频输入

组成与分工

• MLX：Apple 的机器学习框架，Mac 上文本与 Valen 多模态决策的推理后端
• PyTorch MPS：Laya 系列文本模型在 Mac 上的推理后端
• vllm-jev：统一入口与决策 API，屏蔽后端差异
• Hugging Face：模型权重下载来源
• scripts/install_mac.sh：Mac 环境一次性安装脚本

前置要求

• Apple Silicon Mac，macOS 15 或更新版本

实施步骤

1. 一次性安装

从仓库目录执行：

bash
source scripts/install_mac.sh

2. 启动服务

bash
vllm-jev serve Valen-Team/Valen-Preview-0923

首次使用会下载并准备模型。要换其他模型，把模型 ID 替换为支持表格中任意 Mac 平台可用的模型即可。

使用与配置要点

• 服务起来后向 /v1/systemone 发送文本或图像，获得 Choice、Noul、Score 决策结果
• 可选模型需在支持表中 Platform 一列含 Mac，例如 Open-Jev-2B、Laya 系列、Tiny-Jev、Valen-Preview-0923 等
• 部分实验性模型仅 Mac 可测（如 JevK5-2B）

注意事项与常见问题

• Apple Silicon 支持目前是预览（preview）状态
• 平台可用性与请求格式因模型而异，Valen 与 Clef 的短视频输入需查看 guide 文档的 video-input 说明

优缺点

• ✓ 本地离线运行多模态决策
• ✓ 无需 NVIDIA GPU
• ✕ Apple Silicon 仍为 pre
• ✕ 部分模型仅限 Mac 或仅限 Linux

出处

本方案挖掘自开源项目 mode-io/vllm-jev，方案内容与实施命令均来自其 README 原文。