ge-backend 是基于 Triton Inference Server 框架开发的 GE 后端适配器,用于对接昇腾 NPU 生态,实现传统 CV 和 NLP 模型的服务化推理部署。它让开发者能够在 Triton 上无缝加载模型并运行在昇腾硬件上,降低异构计算迁移成本。
产品简介
ge-backend 是基于 Triton Inference Server 框架开发的 GE 后端适配器,用于对接昇腾 NPU 生态,实现传统 CV 和 NLP 模型的服务化推理部署。它让开发者能够在 Triton 上无缝加载模型并运行在昇腾硬件上,降低异构计算迁移成本。