通过 NVIDIA DSX AI Factory 的运行时 AI 物料清单验证 GPU 平台
当团队使用 NVIDIA Dynamo、Kubeflow 或 Slurm 部署并扩展 AI 工作负载时,仅靠平台配方中记录的配置无法全面追踪实际运行内容。应用团队独立于平台配方定义和更新这些工作负载,因此可复现的部署包本身无法确认每个节点上正在运行哪些工作负载制品。使用 :latest 等可变镜像标签进一步增加了复杂性。两个节点可能在相同的标签下运行不同的代码,而节点在下一周拉取的镜像可能未被此前的安全审查所覆盖。
NVIDIA AI Cluster Runtime (AICR) 是 NVIDIA DSX AI Factory Platform 的一个开源模块化组件,现已集成经过验证的 AI 物料清单(AIBOM)组件以弥补这一差距。由 Google 创建的开源项目 k8s-aibom 用于追踪 Kubernetes 上运行的 AI 工作负载。两个默认配方选择 k8s-aibom:h100-gke-cos-inference 和 h100-gke-cos-inference-dynamo。其他 GKE 配方在生成时可通过启用 --runtime-inventory 选项加入。选择该项的配方也可通过禁用 --runtime-inventory 选择退出。
AICR 将已验证可用的 GPU 平台配置转化为版本锁定的配方和可复现的部署包。每个配方记录特定硬件、云环境、操作系统和用途组合的目标配置,包括组件、版本固定、参数值、约束条件、部署顺序和验证预期。AICR 基于固定的配方、目录和包输入生成可复现的部署制品。包中包含校验和,签名功能通过 aicr bundle --attest 可选启用。
使用 k8s-aibom 的验证是一项具体的声明,而非橡皮图章式的批准。AICR 将精确的上游源代码、Chart、CRDs 以及基于摘要固定的控制器镜像绑定为一个经过测试的集合,对照 Google 预期的构建身份验证来源,审查渲染后的 RBAC 和安全默认设置,并在已测试的部署路径上演练安装、升级、健康检查和卸载操作。
本文将介绍如何使用 AICR 配置 Kubernetes 运行时,为集群提供经过验证且高性能的配置。
同一问题的两端
AICR 和 k8s-aibom 关注 AI 基础设施生命周期的不同环节。AICR 帮助平台团队为 GPU 加速的 Kubernetes 生成并验证经过确认的可靠配置,工作在运行时部署层:驱动、operator、内核、Kubernetes 组件以及部署配置。
k8s-aibom 则面向堆栈的更上层,介入集群生命周期的更晚阶段。它监听 Kubernetes 的工作负载和 pod API,为每个识别到的 AI 工作负载生成 CycloneDX 1.6 格式的 AIBOM。其覆盖范围是有限的:只有携带可识别 AI 信号且受支持的工作负载类型才会被纳入清单,包括原生 Dynamo 图、NIMService、LeaderWorkerSet、DisaggregatedSet 和 CronJob 资源。被追踪的子工作负载会合并到其所属所有者的 AIBOM 中。
| AICR 回答的问题 | k8s-aibom 回答的问题 |
|---|---|
| GPU 基础设施是否基于经过验证的已知配置构建? | 该基础设施上实际运行着哪些 AI 资产? |
前者为 GPU 加速的 Kubernetes 提供配置的控制力和可复现性,后者则在集群中补充了工作负载发现和可追溯能力。具体来说,AIBOM 可以帮你:
- 在选定用于报告的命名空间中发现未注册或“影子”AI 工作负载
- 识别模型、推理运行时、Agent 以及 RAG 组件
- 追踪外部 AI API 和向量数据库
- 检测 AI 依赖项的变更或漂移
- 支持安全评审、事件响应和合规审计
两个项目从同一问题的对立面切入,并意识到了这一点。AICR 记录经过验证的部署意图,并在特定时间点评估其与集群的匹配情况。k8s-aibom 则观察受支持的 AI 工作负载,记录其发现,包括如何确定每个属性的置信度。单靠任一视角都不足以实现 AI 治理,两者之间的边界恰恰是当下责任缺失之处。
结合使用 AICR 与 k8s-aibom
以下示例基于 AICR v1.2.0 及其目录,该目录固定了 k8s-aibom 1.6.2。请使用与此目录匹配的 CLI 版本以复现示例。
从一个运行 Kubernetes 1.32 或更高版本的 Google Kubernetes Engine (GKE) 集群开始,配备使用 Container-Optimized OS、GKE 托管驱动和设备插件的 NVIDIA H100 GPU 节点。以下工作流将生成 recipe、渲染为 bundle、部署并验证结果。全程无需手动组装,也无需手动调优。
在相同的 AICR 版本、目录和生成输入下,recipe 解析会产生相同的配置。最后一步将该配置应用于集群进行检查。这就是 AICR 在此组合中带来的优势:快速且可重复地验证 GPU 平台。随后,k8s-aibom 持续对受支持的 AI 工作负载进行清单记录。
生成 recipe
aicr recipe \ --service gke \ --accelerator h100 \ --os cos \ --intent inference \ --output recipe.yaml
新的 k8s-aibom 组件作为 recipe 的一部分被选中,而非事后添加。你可以查询任何已解析的值,无需生成文件:
aicr query \ --service gke --accelerator h100 --os cos --intent inference \ --selector components.k8s-aibom.version # 1.6.2
打包并部署
使用默认的 Helm 部署器创建部署 bundle。请将示例中的节点选择器替换为系统或 GPU 节点池上实际存在的标签:
aicr bundle \ --recipe recipe.yaml \ --system-node-selector nodeGroup=system-pool \ --accelerated-node-selector nodeGroup=gpu-worker \ --output ./bundles
生成的 bundle 为每个组件一个目录,按依赖图排序,每个目录都包含对应的 values、校验和和安装脚本。AICR 通过 --deployer 参数支持多种部署工具,包括 helmfile、flux 和 argocd。
校验生成的 bundle,然后安装:
(cd ./bundles && aicr verify . && chmod +x deploy.sh && ./deploy.sh)
部署完成后,k8s-aibom 控制器运行在 k8s-aibom-system 命名空间中。AICR 使用主 chart 的 CRD,而不是配套的 k8s-aibom-crds chart。Helm bundle 中包含 CRD 应用步骤;Flux 和 Argo CD 则通过各自的控制器处理更新。Helmfile、Terraform 和 Fleet 在需要时要求按照文档说明手动更新 CRD。检查已安装的存储版本:
kubectl get crd aiboms.aibom.k8saibom.dev \
-o jsonpath='{.spec.versions[?(@.storage==true)].name}'
# v1beta1
校验
aicr snapshot --output snapshot.yaml aicr validate --recipe recipe.yaml --snapshot snapshot.yaml \ --phase deployment --phase conformance
k8s-aibom 的健康检查是部署阶段的一部分。它要求控制器 deployment 处于可用状态、集群级 AIBOMControllerConfig 报告当前 Ready=True,并且两个 CRD 报告的存储版本与固定 chart 所期望的版本一致。存储版本匹配并不代表完整 CRD schema 是最新的。升级时还需验证目标 schema,并检查是否存在原因为 SchemaPredatesController 的 Degraded=True;详见健康与就绪状态。
为命名空间启用采集
清单收集功能需按命名空间(namespace)显式开启。该标签决定哪些命名空间生成 AIBOM 记录,但不会限制控制器的读取范围。Informer 机制仍会在集群范围内缓存工作负载和 Pod 的规格信息,包括容器参数和内联环境变量。默认情况下未配置数据接收端(sink)和密钥访问权限,因此除非有明确决定,否则数据不会离开集群。
kubectl create namespace prod-jobs kubectl label namespace prod-jobs aibom.k8saibom.dev/enabled=true
运行推理工作负载
对于开启了清单收集功能的命名空间,携带可识别 AI 信号的支持类工作负载将被自动编入清单。为了简单演示,以下是一个提供 Qwen 服务的 vLLM 部署示例。请注意,它拉取的是 vllm/vllm-openai:latest 镜像标签,而非摘要值(digest),这是某些环境中比较常见的做法。nvidia-h100-mega-80gb 选择器和污点容忍(toleration)必须与您的 GPU 资源池标签和污点匹配:
apiVersion: apps/v1
kind: Deployment
metadata:
name: vllm-qwen
namespace: prod-jobs
spec:
replicas: 1
selector:
matchLabels: {app: vllm-qwen}
template:
metadata:
labels: {app: vllm-qwen}
spec:
# Adjust to match your GPU node pool's taints and labels.
tolerations:
- key: dedicated
operator: Equal
value: gpu-workload
effect: NoSchedule
nodeSelector:
cloud.google.com/gke-accelerator: nvidia-h100-mega-80gb
containers:
- name: vllm
image: vllm/vllm-openai:latest
args: ["--model", "Qwen/Qwen2.5-0.5B-Instruct",
"--max-model-len", "4096",
"--gpu-memory-utilization", "0.30"]
ports:
- containerPort: 8000
resources:
limits:
nvidia.com/gpu: "1"
volumeMounts:
- {name: shm, mountPath: /dev/shm}
volumes:
- name: shm
emptyDir: {medium: Memory, sizeLimit: 2Gi}
将此清单保存为 vllm-qwen.yaml,然后创建该工作负载:
kubectl apply -f vllm-qwen.yaml
查看清单
应用该工作负载后,您可以跟踪清单状态:
kubectl -n prod-jobs get aiboms.aibom.k8saibom.dev
输出示例:
NAME WORKLOAD NAME CATEGORY RUNTIME READY AGE apps-deployment-vllm-qwen Deployment vllm-qwen inference vllm True 28m
控制器会自动对工作负载类别和服务运行时进行分类。有一个边界情况值得了解:记录是基于工作负载 spec 构建的,所以 AIBOM 可以在任何 pod 运行之前就存在。也就是说,在 pod 还在拉取镜像时,AIBOM 就可能已经出现并显示 Ready=True。AIBOM 告诉你声明了什么,以及一旦 Pod 存在后它实际解析成了什么,但并不能证明调度或执行成功。
检查状态条件:
kubectl -n prod-jobs get aibom apps-deployment-vllm-qwen \
-o jsonpath='{range .status.conditions[*]}{.type}={.status} {end}'
# Ready=True Synced=True SinkFailed=False Stale=False
验证 AIBOM
当文档足够小时,会以内联方式存储在资源上,并附带基于规范化字节计算的 SHA-256 哈希:
kubectl -n prod-jobs get aibom apps-deployment-vllm-qwen -o json > aibom.json
jq -r '.status.bomDocument.inline.data' aibom.json | base64 -d > bom.json
jq -r '.status.bomDocument.sha256' aibom.json
shasum -a 256 bom.json | awk '{print $1}'
见证成果的时刻到了:
jq -r '.components[] | "\(.type)\t\(.name)"' bom.json
输出大致如下:
application vllm container vllm/vllm-openai machine-learning-model Qwen/Qwen2.5-0.5B-Instruct
传统 SBOM 只能告诉你运行的是哪个镜像,而 AIBOM 能告诉你正在服务的是哪个模型、用哪个运行时来服务。每个属性带有四种置信级别之一——declared、inferred、unresolved 或 verified——并附带证据定位器,审阅者可以清楚看到每项结论是如何得出的。
资源开销
上游在 GKE 上对 k8s-aibom v1.6.1 做了测量,使用 NVIDIA Dynamo 和 AICR 的配置。测试用的是纯 CPU 节点,工作负载 pod 一直处于 pending 状态,因此以下数据反映的是控制器的清单采集开销:
- 15 分钟稳态观测窗口内,平均每分钟约 4 次 API-server 请求
- 控制器平均 CPU 占用 2.2 millicores
- 控制器内存工作集为 28 到 34 MiB
- 仅在被测工作负载的镜像标签变化时触发一次 AIBOM 重新生成
下一步
这种集成有意在某些方面保持克制,每一项都是主动取舍,而非疏漏。
运行时观测签名: 运行时 AIBOM 作为 Kubernetes 资源写入,但观测数据本身未加签。签名的价值在于让已捕获的观测具备防篡改能力,而非证明每项工作负载声明都真实无误,也无法证实执行成功。上述展示的规范字节及公开的 SHA-256 哈希值,已为后续签名机制铺平了道路。
关联已验证的来源: k8s-aibom 支持基于运维方配置的信任根验证模型声明的 Sigstore 签名,执行签名者身份约束,检查 Rekor 日志收录情况,并为符合条件的声明赋予对应的已验证置信层级。AICR 默认禁用此验证。启用签名后,AICR 还能生成含透明度日志的 bundle 背书;但将此平台来源信息关联至运行时 AI 清单,仍属后续集成工作。
意图与观测工作负载: AICR 配方描述的是部署意图。运行时 AIBOM 记录的是观测到的工作负载规范及可用的 Pod 状态证据。将二者关联需要共享制品标识、新鲜度规则,以及基础设施与工作负载覆盖之间的映射。此对比功能尚待后续集成实现;且 AIBOM 本身并不等同于执行成功或集群完全合规的证明。
AICR 托管在 NVIDIA/aicr。k8s-aibom 托管在 GoogleCloudPlatform/k8s-aibom。两者均为开源项目。若你在 Kubernetes 上运行 GPU 工作负载,此集成能提供已识别 AI 工作负载的清单,并附带展示每项属性是如何确定的证据。