← 文章 / 云原生与基础设施
NVIDIA 开发者博客 11天前 · 2026-11-11 01:04:30 · 22 阅读

NVIDIA 推出 NVKE 与 NVKR:用 Kubernetes 管理 GPU 基础设施集群

NVIDIA 正式宣布推出两个开源项目,用于在 GPU 基础设施上构建和运维托管 Kubernetes 服务——分别是 NVIDIA Kubernetes Engine (NVKE) 和 NVIDIA Kubernetes Recipes (NVKR)。这两个新项目目前均处于公开预览阶段。 AI Factory 的客户通常希望借助其现有的 Kubernetes API、工具及生态体系来调用 GPU 算力,同时由工厂方负责集群的运维。提供此类服务需要基于 API 的资源供给、租户隔离、版本升级及故障恢复机制,并辅以可靠的服务保障承诺。此外,还需对 GPU 硬件、网络、驱动及运行时软件进行认证,以确保其兼容不同 GPU 代际与 Kubernetes 版本。 NVKE 和 NVKR 将上述工作划分为集群管理与可复现的软件构建两大板块。NVKE 提供运行托管 Kubernetes 服务所需的软件,部署于工厂基础设施之上,并通过 API 实现集群的供给与管理。NVKR 则负责构建集群所需的操作系统镜像、容器镜像及软件包,利用“配方”定义经过验证的软件版本与 GPU 代际组合。AI Factory 始终保留对软件、运维、服务及客户体验的控制权。团队可以选择同时采用 NVKE 和 NVKR,也可以独立使用其中任意一个项目。
NVIDIA DSX AI 工厂平台架构图,DSX OS 服务位于硬件与设施基础设施之上,DSX Sim 提供蓝图、基础设施模拟和 SimReady 资产。
图 1. NVIDIA DSX AI 工厂平台

NVKE 和 NVKR 都是NVIDIA DSX AI 工厂平台的组成部分,该平台帮助 AI 工厂设计、构建和运营 GPU 基础设施。两个项目均已在 GitHub 上以 Apache 2.0 许可证开源,团队可以查看代码、并行开发并贡献改进。在公开预览阶段,API、配置和行为可能随版本更迭发生变化,因此 NVKE 和 NVKR 暂不建议用于生产环境。详情参见预览状态与已知限制。

本文将介绍完整流程:使用 NVKR 构建节点镜像,部署 NVKE 管理平面,然后置备一个客户 Kubernetes 集群。

NVKE 与 NVKR 如何协作

  • NVKR 负责构建软件:根据指定的源码版本生成节点镜像、二进制文件、容器镜像和 Helm charts,并记录构建输入。
  • NVKE 负责管理集群:利用这些产物来置备和运维 Kubernetes 集群。

两个项目既可以搭配使用,也可以独立使用。NVKE 在运行时并不依赖 NVKR,而 NVKR 也能为其他 Kubernetes 管理系统构建产物。

nvkectl 在引导主机上启动一个临时的种子集群,并以此为基础构建管理集群。NVKE 的控制平面(包括 REST API 和控制器)运行在该管理集群上。控制平面为 AI 工厂客户创建工作负载集群,每个集群拥有独立的 Kubernetes 控制平面、etcd 和节点池。机器资源由 NVIDIA Infra Controller (NICo) 提供,通过 CAPNICo 管理裸金属生命周期,后者是 NICo 的 Cluster API 基础设施提供商。

节点必须首先提供经过证明的 SPIFFE 身份,才能获得加入凭证。NVKE 遥测管道是一个基于 OpenTelemetry 的 Helm Chart,用于收集日志、指标和追踪数据,并通过 OTLP 将其导出到监控后端。

The diagram shows NVKR publishing software artifacts to a registry, the NVKE management plane requesting machines through CAPNICo and NICo, and customers accessing workload clusters with kubectl.
图 2. NVKR、NVKE 管理集群、NICo 和工作负载集群如何协同工作

在每个工作负载集群内部,团队通过 AI Cluster Runtime (AICR) 添加 GPU 加速运行时,通过 NodeWright 管理节点软件包,并利用 NVSentinel 实现故障修复自动化。

NVKE 是认证的 Kubernetes AI 平台和认证的 Kubernetes 安装器,已通过 Kubernetes 1.36 的符合性测试。

从裸金属到客户集群

本文演示如何从机架上已安装的服务器开始搭建客户 Kubernetes 集群:先用 NVKR 构建节点镜像,再用 nvkectl 部署 NVKE 管理平面,最后通过 NVKE API 创建客户集群。NVKE 文档列出了所有参数和选项,以及最新的操作步骤。

前提条件:

  • 三台 CPU 服务器用于管理集群;站点网络上另需一台 Linux bootstrap 主机,安装 containerd、nerdctl、kind、Helm 和 kubectl
  • 三台 CPU 服务器用于工作负载集群的控制平面
  • 一批 GPU 服务器作为 worker 节点
  • 一套已完成容量注册的 NICo 安装
  • 一台支持 Docker 和 KVM 的 Linux 构建主机
  • 一台用于存放节点镜像的 HTTP 服务器、一个用于存放 controller 镜像的容器镜像仓库,以及可下载安装过程中所需开源镜像和 Helm chart 的网络

构建节点镜像

NVKR 定义了 NVIDIA 为 NVKE 验证过的 Kubernetes 软件配置,并提供可复现的流水线,将该定义转化为可部署的产物。NVKR 基于固定版本号的源码构建节点镜像,并记录所有输入,因此团队可以查明每个镜像包含的软件,并随时重新构建。管理集群和各节点池可以运行不同的镜像,例如按 CPU 架构或 GPU 代际各用一个镜像。

团队在构建主机上克隆 NVKR 仓库,然后运行 quickstart 脚本构建 nvkectl、NVKE controller 镜像及其 Helm chart,再运行另一个脚本构建节点镜像(本文中命名为 node-image-01)。

$ git clone https://github.com/dsx-ai-factory/nvkr.git && cd nvkr
$ bash scripts/nvkr-quickstart.sh
$ NVKE_OS_ARCH=amd64 scripts/nvke-os-local.sh node-image-01

构建节点镜像时会从源码编译 NVKE 节点代理和 OVN-Kubernetes,并加入通过校验和固定的 Kubernetes 1.36 软件包和 SPIRE agent 的上游发行版。随后启动一台 Ubuntu 安装器虚拟机,安装这些代理,并把 Kubernetes 和网络相关的软件包暂存到磁盘上,最终生成 QCOW2 磁盘镜像。接着团队将 controller 镜像推送到镜像仓库,把 nvkectl 复制到 bootstrap 主机,并把 QCOW2 镜像放到 HTTP 服务器上。

部署 NVKE 管理平面

NVKE 管理平面运行在一个称为管理集群的 Kubernetes 集群上。团队在引导主机上执行以下命令,开始创建管理集群:

$ nvkectl bootstrap site -f site-a.yaml \
    --nvke-controller-image registry.example.com/nvke/nvke-controller:<tag>

站点规范文件 site-a.yaml 包含 NICo 部署管理集群三台服务器所需的输入参数。引导命令会在引导主机上启动一个临时的 Kubernetes 集群。该临时集群使用 kind 运行单个 Kubernetes 节点,并承载搭建 NVKE 所需的软件。

NVKE 控制器向 NICo 申请三台服务器,NICo 随即使用之前构建好的节点镜像启动这些服务器。当所有三个节点加入集群后,引导过程会删除临时集群,只保留管理集群。随后,团队在管理集群上安装 NVKE 管理平面,并运行 nvkectl config set-site 将命令行工具连接到 NVKE API。

发布供客户使用的版本集

客户从 AI 工厂发布的版本列表中按名称选择版本。他们不直接操作操作系统镜像或 cloud-init 配置。

一个版本集包含三个组件:

  1. 机器镜像:包含 NICo 用于启动服务器的 iPXE 脚本。
  2. 集群版本:将机器镜像与准备控制平面节点的 cloud-init 配置配对,并记录 cloud-init 安装的 Kubernetes 版本。
  3. 节点池版本:提供工作节点对应的镜像和配置。
$ nvkectl create machineimage -f machineimage.yaml
$ nvkectl create clusterrelease -f clusterrelease.yaml
$ nvkectl create nodepoolrelease -f nodepoolrelease.yaml

创建客户集群

客户集群请求包含与站点规范相同的 NICo 输入参数,外加一个 Kubernetes 版本。控制平面和每个节点池拥有各自的实例类型、VPC 前缀和版本。在此示例中,控制平面和 GPU 节点池引用名为 k8s-1.36.3-amd64 的版本。

name: customer-a
controlPlaneKubernetesVersion: 1.36.3
etcdEncrypted: true
controlPlaneVIP: 10.0.20.10
nico: {orgID: <org-id>, siteID: <site-id>, vpcID: <vpc-id>}
controlPlaneConfig:
  desiredCount: 3
  nico: {instanceTypePreference: [<cpu-instance-type>], vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nodePools:
  - name: gpu
    nodeNamePrefix: gpu
    desiredNodeCount: 4
    nico: {instanceTypeID: <gpu-instance-type>, vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}

团队将这份请求保存为 customer-a.yaml,然后运行以下命令,通过 nvkectl 提交给 NVKE REST API。

$ nvkectl create cluster -f customer-a.yaml

在第一个控制平面节点执行 kubeadm init、且 NVKE 安装好 OVN-Kubernetes 和 NodeLocal DNSCache 之前,集群状态一直保持为 Provisioning(创建中),之后会变为 Provisioned(已创建)。

向客户授权访问

客户通过 kubeconfig 访问集群的 Kubernetes API,而 AI 工厂则继续通过 NVKE API 管理集群。为了给客户授权,团队需要从管理集群中取出该集群的 kubeconfig,并以安全方式分享给客户。

$ nvkectl get kubeconfig customer-a --output-file customer-a.kubeconfig
kubeconfig written to customer-a.kubeconfig

正在使用 NVKE 和 NVKR 构建的 AI 工厂与合作伙伴

NVIDIA Cloud Partners Firmus 和 SK Telecom 正在将 NVKE 和 NVKR 集成到各自的 AI 工厂中,用于构建和部署承载 AI 工作负载的 Kubernetes 集群。

此外,NVIDIA 合作伙伴 Mirantis、Rafay、Spectro Cloud、OpenNebula Systems 和 vCluster 正在把 NVKE 和 NVKR 的组件集成到自己的托管 Kubernetes 产品中,帮助 AI 工厂客户在 Kubernetes 上运行 AI 工作负载。Netris 则在其网络自动化方案中支持 NVKE。

公开预览版现已推出

NVKE 和 NVKR 目前处于公开预览阶段,尚不建议用于生产环境工作负载。这些项目迭代很快,NVKE API 在不同版本之间可能会有变动。当前的限制请查看预览状态页面。

各团队可对照自身基础设施需求,评估这些项目,并查阅公开的 NVKE 和 NVKR 路线图以了解规划中的工作。反馈与贡献有助于塑造 NVKE、NVKR 以及整个 DSX AI Factory 技术栈。

快速上手

NVKE 和 NVKR 是开源组件,可通过 NVIDIA DSX AI Factory GitHub 组织 获取,CAPNICo 也包含在内。你可以从 NVKE 文档 开始,或在单机上尝试 本地快速入门——无需 GPU 或 NVIDIA 账户。

原始来源: NVIDIA 开发者博客

评论 (0)