Together AI、GPUクラスターの自動ノード修復機能を一般提供
この記事の要点
Together AIは、GPUクラスターにおけるノードの自動修復機能を一般提供した。GPUの故障やネットワーク不具合を検知し、再起動や別ホストへの移行などを自動実行する。VMとホストの両面から常時監視を行い、障害発生時には「検出」「判断」「修復」「再検証」の4段階で対応する。ユーザーは修復の承認プロセスやタイミングを制御でき、外部ツールとの連携も可能。クラスター全体の安全装置も備え、大規模な分散学習や推論の安定稼働を支援する。
Together AIは、GPUクラスターにおけるノードの自動修復機能を一般提供した。GPUの故障やネットワーク不具合など、分散学習や推論の実行を妨げる障害に対し、自動的に修復アクションを実行する。
本システムは「パッシブヘルスチェック」により、VM内部とホストの両面からノードを常時監視する。VM内ではカーネルログやDCGM、Node Problem Detectorを用いて、ECCエラーや熱スロットリング、ファイルシステムの異常などを検知する。ホスト側ではInfiniBandの状態や到達性を監視する。
修復プロセスは「検出」「判断」「修復」「再検証」の4段階で構成される。修復アクションには、再起動、再プロビジョニング、別ホストへの移行、削除が含まれる。同じ障害が繰り返される場合、自動的に修復レベルが引き上げられる仕組みだ。
ユーザーは修復の可否やタイミングを制御できる。修復を自動承認するか、手動承認を待つかを選択可能だ。また、実行中のワークロードを中断しないよう、ノードがアイドル状態になるまで待機する設定も用意されている。
システムには安全装置として、サーキットブレーカーや同時実行制限が組み込まれている。クラスター全体で障害が多発した場合、一括でのノード置換を防ぐためだ。修復後のマシンは、プールに戻る前に自動的に再検証される。テストVMがGPUやNCCL、InfiniBand、ストレージをチェックし、合格した場合のみプールに復帰する。
外部の検出ツールとの連携も可能だ。APIやコンソールに加え、プレビュー機能としてノードラベルを用いた修復指示にも対応しており、NVSentinelなどの外部ツールからの修復リクエストを受け付けられる。なお、本機能の価格や具体的な導入企業数については公表されていない。
経営にとっての意味
本機能の導入は見送る。理由は、運用コストと費用対効果が不明だからだ。本機能はGPU故障時の自動修復を担うが、価格や既存の監視体制との統合コストが記事にない。自社でGPUクラスターを構築・運用する開発者にとって、障害対応の自動化は魅力だが、現時点では「運用人件費の削減額」と「本機能の利用料」の比較ができない。影響は未確定であり、価格体系と既存の監視ツールとの連携仕様が公開され次第、再検討する。今は、手動での障害対応フローを維持し、運用コストのベースラインを確定させることを優先する。
4人で読み解く
記事の内容だけをもとに、担当のちがう4人(経営・開発・聞き手・運用)が話します。 記事に書かれていないことは話しません。
出典
Together AI「Auto repair for Together GPU Clusters: from GPU fault to healthy node」この記事は、出典元が公表した原文をもとに当社のAI編集部が日本語で再構成し、 公開前に人が確認したものです。原文の訳ではありません。 事実関係は出典(原文)で確認してください。
