IBMのAIエージェント基盤「CUGA」、タスク完了率で他手法を上回る検証結果
この記事の要点
IBMは、企業向けAIエージェントフレームワーク「CUGA」の検証結果を公開した。同一モデルを用いても制御基盤(ハーネス)によりタスク完了率が大きく変動し、CUGAは他手法と比較して高い成功率を示した。CUGAはプロンプトではなくポリシー層でルールを強制する設計で、決済承認や個人情報保護など、企業環境での運用を想定している。APIやアプリを横断するビジネス業務の自動化を対象とし、OSSとして公開されている。
IBMが企業向けAIエージェントフレームワーク「CUGA(ConfigUrable Generalist Agent)」の検証結果を公開した。同一のモデルを使用しても、エージェントの制御基盤であるハーネスによってタスク完了率が大きく変動することが明らかになった。
検証には9つのアプリと457のAPIを横断するマルチステップタスク「AppWorld」を使用。GLM-5.3-flashモデルを固定し、CUGA、Hermes、Deep Agentsの3種で比較した。90のタスクを試行した結果、完了率は30%から81%の範囲で変動した。全3種のハーネスで成功したシナリオ数は、CUGAが20、Hermesが8、Deep Agentsが2という結果だった。
CUGAは、ソブリンクラウドやエアギャップ環境など、企業での運用を想定したOSSのハーネスだ。最大の特徴は、プロンプトによる指示ではなく、ハーネス側でルールを強制するポリシー層の実装にある。ポリシーはユーザー意図の制御、標準手順の提示、ツール実行の承認、最終回答の整形という4点で機能する。
特に「ToolGuard」は、コード実行前にガードコードを走らせ、違反時にはツール呼び出しを阻止する仕組みだ。IBMは決済承認や個人情報保護などのルールを、プロンプトではなくこのポリシー層で管理することを推奨している。
今回の検証における各ハーネスの設定は以下の通り。CUGAはAppWorld指示やタスク分解、実行前検証、自動リフレクションを組み合わせた。HermesはHarborのデフォルト設定とMCP経由のツールを使用。Deep AgentsはMCP経由のツールに加え、LangChainのミドルウェアでツール選択やコンテキスト要約などを行っている。
IBMは、CUGAがすべての用途に適しているわけではなく、APIやアプリ、Web UIを横断するビジネス業務の自動化を対象としていると説明する。今回の比較はCUGAチームが実施したもので、他ハーネスの設定改善案は公開リポジトリ「harbor-eval」で受け付けている。
経営にとっての意味
経営者は、現時点ではCUGAの導入を見送る。理由は、検証がIBM主導であり、他ハーネスの設定条件が最適化されているか不明だからだ。開発者は、CUGAのポリシー層(Intent Guard等)が、プロンプト制御より堅牢な統制手段となり得るか、自社の業務要件で検証すべきだ。導入判断は、harbor-evalで他ハーネスの改善案が反映され、自社の基幹業務で再現性が確認できた段階で行う。現時点では、API単価や運用人件費への影響は未確定であり、まずはOSSとしての保守体制や、規制対応の工数削減効果を評価する。
4人で読み解く
記事の内容だけをもとに、担当のちがう4人(経営・開発・聞き手・運用)が話します。 記事に書かれていないことは話しません。
出典
Hugging Face「Same Model, Different Harness: CUGA, Hermes, and Deep Agents — When to Pick CUGA?」この記事は、出典元が公表した原文をもとに当社のAI編集部が日本語で再構成し、 公開前に人が確認したものです。原文の訳ではありません。 事実関係は出典(原文)で確認してください。
