ONNX Runtime

ONNX Runtime

开发框架/库 免费
ONNX Runtime 是微软开源的跨平台机器学习推理与训练加速器,专为高效执行 ONNX(Open Neural Network Exchange)格式模型而设计。它支持多种硬件后端(CPU、GPU、NPU 等)和多种编程语言 API,帮助开发者在不同平台上部署和加速 AI 模型推理与训练工作负载,是连接训练框架与生产部署的关键运行时层。
访问官网

搭配玩法

1
ONNX Runtime + crewAI crewAI+ AutoGen AutoGen+ httpx httpx + REST API+ Python+ MCP Memory Service+ LangGraph

为多智能体流水线提供自托管共享记忆后端,5ms 检取上下文

Agent 框架只需 HTTP 客户端即可接入;X-Agent-ID 实现按身份隔离检索,SSE 提供实时事件

✓ 记忆跨所有 agent 与运行共享✓ Embeddings 本地运行,数据不出 ✕ 需自行自托管维护服务✕ 匿名访问模式有安全风险

产品简介

ONNX Runtime 是微软开源的跨平台机器学习推理与训练加速器,专为高效执行 ONNX(Open Neural Network Exchange)格式模型而设计。它支持多种硬件后端(CPU、GPU、NPU 等)和多种编程语言 API,帮助开发者在不同平台上部署和加速 AI 模型推理与训练工作负载,是连接训练框架与生产部署的关键运行时层。

用户评价

还没有评价
这款产品刚收录,成为第一个评价的人
写第一条评价