MLX

Ollama 0.31 中 Gemma 4 借多 token 预测在编码智能体基准上提速近 90%

Gemma 4 内置草稿模型与主模型并行预测 token，Ollama 自动调节草稿长度并动态验证，MLX 内核加速批量验证

在 Mac 上以 NVFP4 量化格式运行模型，输出速度更快、质量损失更低

MLX 框架利用 Apple Silicon 统一内存与 Metal GPU，Ollama 引擎集成 NVFP4 以降低量化精度损失

在 Apple 芯片上用 MLX 从零手写 Qwen3 推理与 vLLM 级服务系统

MLX 提供数组与扩展运行时作为正确性基准；C++/Metal 用于手写内核；Qwen3 规模适中贴近真实服务场景。