Triton Inference Server GE Backend

Triton Inference Server GE Backend

开发框架/库 免费 最新 v0.1.0
ge-backend 是基于 Triton Inference Server 框架开发的 GE 后端适配器,用于对接昇腾 NPU 生态,实现传统 CV 和 NLP 模型的服务化推理部署。它让开发者能够在 Triton 上无缝加载模型并运行在昇腾硬件上,降低异构计算迁移成本。

产品简介

ge-backend 是基于 Triton Inference Server 框架开发的 GE 后端适配器,用于对接昇腾 NPU 生态,实现传统 CV 和 NLP 模型的服务化推理部署。它让开发者能够在 Triton 上无缝加载模型并运行在昇腾硬件上,降低异构计算迁移成本。

用户评价

还没有评价
这款产品刚收录,成为第一个评价的人
写第一条评价