How Kubernetes DRA can improve GPU utilization and cut costs

要点

• 従来のdevice pluginは、MIGの分割構成を事前固定し、GPUを区別できない個数で扱い、割り当ても排他的なため、遊休容量や配置の不一致が生じる。
• DRAはドライバがResourceSliceで属性や容量を公開し、ResourceClaimで要件を宣言する。動的パーティション、属性とCELによるトポロジ考慮の割り当て、consumable capacityによる容量管理で利用率を高める。
• 制約として、DynamicMIGはalphaで既定無効、matchAttributeの保証は単一claim内のみ、実行時の隔離は強制されない、claimに優先度やpreemptionはない。
• 効果確認は、Pending時間と完了作業量、ResourcePoolStatusRequest(alpha)、ジョブ時間、consumedCapacityと実使用量の比較で行い、容量解放かGPU時間の減少が確認できるまで節約と見なさない。
• 後半はDatadog GPU Monitoringによる利用率とコストの可視化、Cost Monitor、Workflow Automationの紹介が中心で、宣伝色がある。claim削除などの解放操作には人の承認を挟むよう勧めている。