How AI workloads are reshaping Kubernetes autoscaling

要点

• pendingのPodは容量不足ではなく、autoscalerが追加するノードとschedulerが使えるノードの形状が食い違うことでも起こる。
• 予約容量、トポロジ(デバイス間の接続)、デバイス共有の3課題に対し、DRAで構造化された要求を表現できるようになった。DRA対応のautoscaler実装は進行中で、対応状況は実装ごとに異なる。
• gang schedulingはschedulerのWorkload/PodGroup API(beta、デフォルト無効)で対応が始まったが、autoscalerはPod単位のままである。
• 暫定策はProvisioningRequestとKueueの組み合わせで、グループ全体の容量を一括要求できる。ただしベストエフォートで、プロバイダ依存である。
• SIG-Autoscalingでは、schedulerが将来プロビジョン可能な容量を認識できるようにする連携APIが提案されている。