AWSのQA自動化ツール「QA Studio」が組織管理とメトリクス機能に対応
この記事の要点
AWSは、QA自動化リファレンスソリューション「QA Studio」をアップデートし、組織規模での運用を支援する新機能を追加した。アプリケーション単位のテスト管理やチーム別のアクセス権限制御が可能になり、テストの健全性を可視化するメトリクス機能も実装された。Amazon CloudWatchと連携し、テストの合格率やヘルススコアを算出する。開発チームは、組織内のテスト所有権を明確化し、効率的な運用体制を構築できる。
AWSは、QA自動化リファレンスソリューション「QA Studio」に、組織規模での運用を想定した新機能を追加した。アプリケーション単位のテスト管理と、チームベースのユーザー管理機能が新たに利用可能になる。
QA Studioにおける「アプリケーション」は、テスト対象のWebサイトやサービスを指す。各アプリケーションは所有チームに紐付き、テストケースやスイートを格納するコンテナとして機能する。これにより、組織内のテストをアプリケーション単位で整理し、所有権を明確化できる。
テストの健全性を可視化するため、実行結果をAmazon CloudWatchのカスタムメトリクスとして記録する。アプリケーションページでは、選択期間内の合格率や総実行数、現在の失敗数を確認可能だ。
合格率から不安定なテストによる減点を行った「ヘルススコア(0〜100)」も算出する。メトリクス画面では、7日間または30日間の期間で、実行数や成功・失敗数、平均実行時間の推移をグラフ化できる。失敗したテストについては、Amazon Nova Actの軌跡ログやセッション記録へのリンクから詳細を確認可能だ。
チームベースのユーザー管理機能では、アプリケーションを特定のチームに割り当て、アクセス権限を制御する。役割は「Admin」「Team Lead」「Editor」「Executor」「Viewer」の5段階で定義される。
権限は累積的であり、上位の役割は下位の権限をすべて含む。チーム間での共有機能も備えており、所有チームは他チームに対して「閲覧」「実行」「フルアクセス」の権限を付与できる。共有先ユーザーの有効な権限は、自身の役割と付与された権限のうち、低い方が適用される仕組みだ。
本ソリューションは、Amazon CognitoやAmazon DynamoDB、AWS Lambdaなどで構成される。デプロイにはAWS CDKを使用し、テストデータやメトリクスはユーザーのAWSアカウント内に保持される。詳細な設定手順は、GitHubのリポジトリで公開されている。
開発者にとっての意味
既存のテスト基盤をQA Studioへ移行しない。現状の自前実装は、テストの失敗時にログを直接解析するパイプラインを構築済みであり、本ツールが提供するCloudWatchメトリクスや権限管理機能だけでは、既存のCI/CDパイプラインとの統合コストに見合わないためだ。
ただし、テストの「ヘルススコア」算出ロジックは参考になる。もし自社のテストスイートでflaky testsの特定と除外が自動化できていないなら、このスコア算出の定義をGitHubから読み解き、自前のメトリクス収集スクリプトに組み込む価値はある。移行を検討するのは、AWSアカウント内でのテスト管理が複雑化し、権限分離がボトルネックになった時点に限る。
4人で読み解く
記事の内容だけをもとに、担当のちがう4人(経営・開発・聞き手・運用)が話します。 記事に書かれていないことは話しません。
出典
AWS Machine Learning Blog「Accelerating software delivery with agentic QA automation using Amazon Nova Act – Part 3」この記事は、出典元が公表した原文をもとに当社のAI編集部が日本語で再構成し、 公開前に人が確認したものです。原文の訳ではありません。 事実関係は出典(原文)で確認してください。
