在非 AWS Kubernetes 集群上使用 aws-virtual-gpu-device-plugin

Question

我了解了 aws virtual gpu device plugin，它可以如何用于将一个 GPU 拆分为多个较小的 GPU，并在每个小部件上运行并发作业。虽然这对我的用例来说很棒，但我想知道这是否仅适用于 AWS EKS 服务，还是也可用于其他云提供商 K8 集群？有没有人在非 aws 基础设施上使用过它？

Answer 1

请注意其局限性。

Virtual GPU device plugin for Kubernetes

<块引用>

块引用 限制 该解决方案建立在 Volta 多进程服务 (MPS) 之上。您只能在 Tesla-V100 或更高版本的实例类型上使用它。 （现在只有 Amazon EC2 P3 实例和 Amazon EC2 G4 实例） 虚拟 GPU 设备插件默认设置 GPU 计算模式为 EXCLUSIVE_PROCESS，这意味着 GPU 被分配给 MPS 进程，单个进程线程可以通过 MPS 服务器并发提交工作到 GPU。此 GPU 不能用于其他目的。 如果您在工作负载中请求 k8s.amazonaws.com/vgpu 超过 1，则仅在单个物理 GPU 实例（如 P3.2xlarge）上使用虚拟 GPU 设备插件。 虚拟 GPU 设备插件不能与 Nvidia 设备插件一起使用。您可以标记节点并使用选择器安装虚拟 GPU 设备插件。