Amazon SageMaker AI、マルチターン強化学習（MTRL）を提供開始

Amazon SageMaker AIで「マルチターン強化学習（MTRL）」が利用可能になった。経費精算やサポートチケットのトリアージなど、一連の行動が必要なエージェントタスクにおいて、モデルの学習を効率化する機能だ。

MTRLは、エージェントが環境内で複数回行動し、エピソード終了時の報酬に基づいてモデルを学習する。教師あり学習とは異なり、正解となる行動手順を事前に指定する必要はない。結果に対するスコアを定義するだけで学習が進む仕組みだ。

具体的な学習プロセスは、SageMaker AIが学習ジョブとポリシーモデルを管理する。Amazon Bedrock AgentCoreやAmazon EKS、Amazon EC2、AWS Fargate上でホストされたエージェントが、環境と報酬関数を実行する。最終的に、グループ相対ポリシー最適化（GRPO）を用いて、報酬に基づきポリシーモデルのLoRAアダプターを更新する。

Wordleを用いた検証事例では、gpt-oss-20bモデルを学習させた。学習にはトークン費用として約339ドル、AgentCoreランタイム費用として約79ドルを要した。その結果、検証用データセットにおける正解率は、デフォルトの推論設定で61%から84%に向上している。

現在サポートされているベースモデルは、Amazon Nova 2 Lite、GPT-OSS-20B、Gemma 4 31B（instruction-tuned）、Qwen 3.6 27Bの4種類だ。利用にはPython 3.10以降、Node 20以降、AgentCore CLI、botocore 1.43.37以降が必要となる。学習ジョブとAgentCoreランタイムは同一リージョンで実行しなければならない。

なお、報酬設計における「結果重視」の重要性や、学習中の失敗事例についても言及されている。詳細なコードはAWSのサンプルリポジトリで公開中だ。

開発者にとっての意味

実装する開発者は、手元のコードを変えない。本機能は報酬関数のみで学習できるが、報酬設計の難易度や失敗事例への対処法が不明だからだ。まずは自社のタスクで報酬関数を定義し、既存の教師あり学習モデルと推論精度を比較する。その上で、学習コストと運用負荷が見合うか判断する。経営者は、本機能が自社のエージェントタスクの精度向上に寄与するか、報酬設計の工数と学習費用を試算し、既存の運用コストと比較する必要がある。現時点では、報酬設計の妥当性と失敗時の挙動が不明なため、導入判断は保留すべきだ。