AI PMのリスク管理：幻覚より重い事故は、取り消せない操作で起きた
AI PMのリスク管理：幻覚より重い事故は、取り消せない操作で起きた
いま起きていること
AIの幻覚は、本当に起きた。 パンダオフィスでは2026年6月、AIと一緒に書いた本書『PMBOK-AI』の全14章を、5体のAIに並行して事実確認させた。存在しないモデルの型番、料金プランの取り違え、すでに施行されている日本の法律を「未整備」とする記述が見つかった。ある統計は、意味を逆にして訳されていた。修正したはずの誤りが、次の版にそのまま残っていたものもある。
ただ、この1年でいちばん重かった事故は、幻覚ではなかった。
- 2026年7月：共有しているデータベースで、あるアプリの設定を1つ変えた。同じデータベースに同居していた別のアプリまで、20分止まった。
- 2026年8月：パソコンの整理中、共有ドライブへ移す前の動画2本と、大きな本番データを一括削除で消した。「移してから消す」という注意書きは、削除コマンドのすぐそばに書いてあった。
- 2026年8〜9月：Web サイトの検証用ビルドが、設定値の不足で毎回失敗していた。失敗したビルドにも課金される。追加課金は8月に51ドル、9月1〜2日の2日間で40ドルになった。
3つとも、AIが間違った答えを出したわけではない。取り消せない操作の前に、人の確認が挟まっていなかった。
外の動きも同じ方向を向いている。総務省・経済産業省の「AI事業者ガイドライン」は2026年3月の第1.2版でAIエージェントを対象に加え、誤った発注やファイル削除のような意図しない操作のリスクと、権限の設定、人の判断を挟む仕組みを書き足した。Google が10月に発表した業務用エージェントは、エージェントごとの権限と、エージェント名義の操作記録を売りにしている。
（出典：自社の作業記録 2026-06〜09／総務省・経済産業省「AI事業者ガイドライン（第1.2版）」2026-03-31／Google Cloud「Gemini at Work 2026」2026-10-08）
PMの仕事で何が変わるか
AIが答えるだけの道具だったころ、リスクの中心は「答えが間違っているかどうか」だった。人がその答えを読んで、使うかどうかを決めていたからだ。
AIエージェントは、答えるだけでなく操作する。ファイルを消し、設定を変え、ビルドを走らせ、外部のサービスを呼ぶ。人が読む前に、操作は終わっている。
そうなると、PMが見るべきものは「AIの答えの正しさ」から「AIが何をできるか」に移る。パンダオフィスで起きた事故は、次の5つに分けられた。
| 種類 | 何が起きるか | パンダオフィスの例 |
|---|---|---|
| 誤り | もっともらしい間違いが混ざる | 存在しない型番、意味を逆にした統計 |
| 巻き添え | 1つの変更が、同居する別のものを止める | 共有データベースで別アプリが20分停止 |
| 取り消せない操作 | 戻せない操作が、確認なしで実行される | 移す前のデータを一括削除 |
| 費用 | 失敗や繰り返しに、黙って課金が積み上がる | 失敗ビルドの課金、レビューの19周 |
| 誘導された承認 | AIの推奨に、人が考えずに「はい」と答える | 止めるべき場面で進める案を推奨され、承認した |
このうち幻覚が直接関わるのは、1つ目の「誤り」だけだ。残りの4つは、AIの性能が上がっても減らない。むしろ、任せる範囲が広がるほど増える。
PMBOK-AIではこう扱う
PMBOK-AIは、AIを「チームメイト」として扱い、最終的な判断と責任は人に残す（Human-in-Command）という立場をとる。PMBOK-AIの全体像はこちら。
この原則を、1年の事故から具体的にすると、こうなる。
1. 誤りは、層を重ねて減らす。 AIに書かせた文章は、別のAIで確認させる。それでも「誤り」と言われた箇所を直す前に、人が一次資料を1回取る。パンダオフィスでは、2体のAIがそろって「誤り」と報告した数値が、一次資料では正しかった例がある。AIは「見つからなかった」を「存在しない」と報告しがちだ。
2. 巻き添えは、同居の一覧で防ぐ。 データベース、ホスティングの契約、認証の基盤など、複数のアプリで共有しているものを一覧にし、何が同居しているかを書いておく。設定を変える前に、その一覧を見る。
3. 取り消せない操作は、仕組みで止める。 削除、本番への反映、外部への送信、費用の発生。この4つは、AIが実行できない形にしておき、人が押したときだけ動くようにする。「確認してから実行して」と頼むのは約束にすぎない。約束は破られる。
4. 費用は、止めるより知らせる。 費用の上限に達したら本番の配信を止める設定は、一見安全に見える。だが同じ契約に取引先の本番が同居していれば、上限に達した瞬間にそちらも止まる。上限は通知に使い、止めるかどうかは人が決める。
5. 承認は、止まる側から出す。 AIが推奨する案に、人はたいてい「はい」と答える。手順書に「この条件なら止める」と書いた場面では、AIは止まったまま事実を報告し、条件を守る案を先に出す。条件を破る案は、破ることを明記して別に出す。
PMI が2026年6月に公開した AI のための標準も、すべての段階で人が関与すること（human-in-the-loop）を前提にしている。パンダオフィスの経験から言えば、人の関与を「すべて」に薄く広げるより、取り消せない操作に集中させたほうが事故は減る。
（出典：PMI「The Standard for Artificial Intelligence in Portfolio, Program, and Project Management」2026-06-09）
明日からやること
- AIが触れる操作を書き出し、「取り消せる」「取り消せない」に分ける
- 取り消せない操作（削除・本番反映・外部送信・費用の発生）は、人が押さないと実行されない形にする
- 複数のアプリで共有しているデータベース・契約・基盤を一覧にし、同居している相手を書く
- 費用の上限設定が「止める」になっていないか確認し、「知らせる」に変える
- AIが「誤り」と言った既存の記述を消す前に、一次資料を1回取る
まとめ
AIの幻覚は起きる。ただ、PMが本当に設計すべきなのは、AIの答えの正しさより、AIが取り消せない操作に手を出せない仕組みのほうだ。
