Ai2が数千基のGPUクラスタを予算制に刷新、待機時間は中央値24秒に激減

数千基のGPUを抱える大規模計算基盤で、リソース配分の仕組みが刷新された。

人工知能研究機関のAi2（Allen Institute for AI）は、GPUクラスタの運用を従来の優先度ベースから時間予算制に切り替えた。プロジェクトや研究者にGPU時間の割合を配分し、階層型のアルゴリズムでジョブを並べる。

Ai2は約150人の研究者に向けて、88基から1024基構成の複数クラスタを運用する。機材はNVIDIA H100、B200、B300など数千基に上るが、需要は供給の2〜3倍に達していた。

これまでは全ワークロードの100%が最高優先度を指定するインフレが起きていた。さらにリソース確保を狙ったジョブの居座りや、保守のたびに手動停止を交渉する手間も課題だった。

新方式では7日間を基本とする枠内の専有状況に応じ、ジョブを公平に整列する。同時に投入時の契約として、中断から保護される最小実行時間を上限8時間で申告させる。

最小時間を過ぎたジョブは自動で退避や再キューイングの対象になる。この仕組みにより、予算を消費しない無料の未割り当て枠へ切り替える運用も可能になった。

7月末から移行し30日間の検証を行ったところ、クラスタの専有率は98%を維持した。15チーム中13チームが割り当て分の95%以上を受け取り、全体の18%は無料枠が占めた。

最大規模のH100クラスタでは、キュー待機時間の中央値が5分から24秒へ激減した。p90待機時間も2.8時間から1.8時間に縮み、デバッグ向けでは2時間から30秒へと大幅に改善した。

障害時の自動排出が進んだことで、人手による修復作業も74%削減されている。

一方、最長1週間保持できた対話型セッションが8時間の上限で切れる課題も見つかった。大規模ジョブの待機時間が増える容量断片化の懸念とあわせ、Ai2は対策を進めている。

経営にとっての意味

自社の運用は変えません。本発表は自前で大規模GPUを抱える組織の管理手法です。

GPUクラスタを自社保有しない開発者や経営者には、直接の影響がありません。

一方、数百基以上のGPUを自前で運用し、社内配分に悩む組織の責任者には意味があります。

待機時間短縮や保守作業の74％削減という実績は、検討の材料になります。

ただし導入費用の記載はなく、8時間での中断や容量断片化の課題も残ります。

自社でクラスタを持たない限り、この仕組みを導入する必要はありません。