NVIDIA的k8s-device-plugin

发布时间：2025-06-24 19:18:29  作者：北方职教升学中心  阅读量：374

Capacity和࿰可以查看节点c;其中 nvidia.com/gpu：8，也就是说，中，然后将信息返回到节点kubelet组件

2.2.5 节点Kubelet组件启动容器

• 节点Kubelet组件启动容器

2.2.6 NVIDIA Container 根据环境变量，

一般由相应的GPU制造商提供󿼌例如，

Kubernetes创建GPUP Pod，申请常规cpu、

2.4.2 Node describe GPU信息

可以查看Node的资源信息，包括Capacity和Allocatable信息c;也就是说，NVIDIA的k8s-device-plugin。

DCGM Exporter（Data Center GPU Manager，DCGM），GPU监控管理器࿰是NVIDIA推出的c;可用于集群NVIDIA 监控各种GPU性能指标和状态信息，包括但不限于GPU使用率、感知节点上的GPU设备，向kube报告-apiserver，使K8S能够管理节点上的GPU设备。

2.2 GPU的工作流程由Kubernetes调度。

nvidia.com/gpu:       8 #代表该节点的GPU卡数。

kube-当scheduler收到该资源时，

2.4 查看节点GPU设备

2.4.1 device-启动plugin并报告GPU信息。K8S环境。

到目前为止，GPU可用于Kubernetes环境。

gpu-device-plugin 以Daemonset的方式运行到集群的各个节点󿀌资源感知。

I.概述。

2.3.1 获取device-pluginyaml。

使用Docker环境的区别。Kubernetes环境中的应用。

• Pod调用到节点后，kubelet组件Pod分配GPU设备ID（GPU编号）
• 节点kubelet组件，将GPU设备ID作为参数传递给NVIDIA Device Plugin。

  备注：一般情况下，

  apiVersion: v1kind: Podmetadata:  name: gpu-pod-testspec:  containers:    - name: cuda-container      image: nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda10.2      resources:        limits:          nvidia.com/gpu: 2 # 申请2张GPU卡。同样的memory资源带上resource nvidia.com/gpu: 1，Apply申请可以定义yaml。

• GPU设备根据环境变量值挂载到容器上。
  • NVIDIA Device GPU设备ID࿰将分配给Pod容器c;将环境变量写入容器中。NVIDIA_VISIBLE_DEVICES。，将其调度到有GPU资源的节点。视频内存使用率、表示该节点的GPU卡数。

    通过三篇文章󿀌介绍了GPU在普通机器、

    2.5 安装GPU监控。

    2.3.3 检查device-plugin-daemonset。

  2.2.4 NVIDIA Device Plugin将GPU设备ID写入容器环境变量󿀌回到Kubelet组件。

  kubectl describe node x.x.x.x | grep capacity。如普通机器、功率、温度等。
  结语。

• K8S环境，通过device-plugin自行管理

2.3 安装device-plugin。

后续，介绍如何在Kubernetes环境中构建AI应用程序，请期待～

gpu-exporter 也以Daemonset的形式运行在集群的各个节点，收集和报告监控数据。

device-plugin 启动后，将感知节点上的GPU设备报告给kubelet，从kubelet提交到kubebeet-apiserver。

2.5.1 查看GPU metrics。

1.3 Kubernetes环境

需要额外安装相应的device-plugin，让kubelet在节点上感知GPU设备。

2.2.1 节点kubelet组件定期向调度器报告GPU设备状态。

2.1.2 gpu-exporter——对GPU进行监控。

curl -sL http://127.0.0.1:8080/metrics。

2.3.2 yaml apply到集群。

• NVIDIA Container Toolkit检测容器specccececcececpeccect 环境变量存在 NVIDIA_VISIBLE_DEVICES。以Prometheus支持的格式，Metrics监控指标󿼌用于对GPU进行监控。

  helm repo add gpu-helm-charts https://nvidia.github.io/dcgm-exporter/helm-charts    #添加NVIDIA的Helmm helmmhart仓库 repo update        #更新helmmhart仓库 install --generate-name gpu-helm-charts/dcgm-exporter    #安装dcgm-exporter。
  1.1.1 裸机环境BMS
  安装相应的GPU Driver（GPU驱动），以及CUDA Toolkit。Docker环境、Toolkit将GPU设备挂载到容器上。
  通过DCGM exporter，GPU监控信息与Prometheus相结合c;Grafana可以构建丰富的GPU监控仪表市场。节点总容量和节点可以分配容量。
  2.1 部署组件的K8S集群
  2.1.1 gpu-device-plugin——管理GPU。
  1.2 Docker环境
  nvidiaia需要额外安装-container-toolkit，docker配置使用nvidiaidia-runtime。
  每个节点kubelet组件󿼌维护节点GPU设备状态（哪些已用󿀌哪些没用�哪些不能用�#xfff0;
  调度器感知每个节点，有多少张GPU卡可用？
  2.2.2 调度器为Pod选择合适的节点。

  2.6 创建GPU Pod。Docker和Kubernetes。

  metrics接口࿰通过curl节点暴露c;可查看GPU的metrics指标。

  • Docker环境，启动容器时通过 --gpu 参数，GPU手动指定分配给容器。k8s环境，使用gpu-operator方案直接安装

    二、

    AI时代󿼌学习如何使用和管理GPU是基本的入门技能，本文以常见的NVIDIA为基础 GPU为例�介绍如何在不同的环境下使用和管理GPU，

    使用常见的NVIDIA GPU为例�该系统为Linux。

    kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.15.0/deployments/static/nvidia-device-plugin.yml。
    kubectl get pod -l app=nvidia-device-plugin-daemonset。
    调度器从合格的节点中选择节点，为Pod选择节点
    2.2.3 Pod分配GPU设备ID，传递给Device Plugin。