訂正から学ぶ仕組みは、うまくいくほど訂正が枯れる
前回、「人に書かせず、訂正から回収する」方式を書きました。 今回は、その方式の弱点を先に書きます。売り込む前に、壊れ方を知っておいたほうがいいからです。
人は、訂正しなくなる
意欲や教育の問題ではありません。独立した複数の研究系列が、同じ結論に収束しています。
1. 自動化バイアス Parasuraman と Manzey の大規模なレビュー（2010年）は、自動化への過信が 手動作業と自動化タスクが注意を奪い合うマルチタスク負荷下で生じ、 単純な反復練習では克服できないとしています。 自動化バイアスのほうは熟練者にも生じ、訓練や指示では防げないとされます。
2. 確証バイアス 2025年の研究では、評価者はモデルの答えが誤っている場合でも、 自分でオンライン調査をした後のほうが答えへの確信を強めたと報告されています。 つまり「よく確かめる」ことが、必ずしも誤りの発見につながりません。
3. 訂正データ自体が汚い 人間の選好ラベルの一致率は7割台にとどまります。 要約タスクで研究者間73±4%、指示追従で訓練ラベラー間72.6±1.5%。 「人の訂正は綺麗な信号である」という前提は、そのままでは成立しません。
4. moral crumple zone 人間は形式上レビューする位置に置かれていても、 実質的な統制力を持たないまま、責任だけを吸収する位置に追いやられうる。 車のクランプルゾーンが運転者を守るのに対し、 これは技術システムの体面を、最も近くにいる人間を犠牲にして守ります。
最も厄介なのは、成功した段階で強く出ること
訂正が溜まる → 精度が上がる → 信頼される → 訂正されなくなる → 精度が上がらなくなる
訂正から学ぶ仕組みは、うまくいくほど訂正が枯れます。 信頼性が高いほど監視は緩む、というのが上のレビューの指摘でもあります。
5つ目 ― 溜まっているのに、中身が汚れる
これが最も見えにくい弱点です。
「不完全な出力を先に出す」と書きましたが、 その出力を見た後の判断は、見る前の判断と同じではありません。
意見の偏ったモデルと共同で文章を書いた実験（参加者1,506名）では、 書かれた内容だけでなく、執筆直後の態度アンケートで表明された意見まで移動していました。 （ただし著者自身は、この移動を一過性である可能性が高いとしています。）
生成AIを使った制作物については、 個々の質は上がる一方で成果物どうしが互いに似てくることも報告されています。
3（ノイズ）との違いは、こうです。
- 3 は、訂正がばらつく。一致率が低いので、信号が弱いと分かる
- 5 は、訂正が揃いすぎる。一致率は高く出る。指標の上では成功に見える
そして「訂正でき、理由も言えた＝未記録の形式知」という切り分けも、そのままでは成立しません。 AIの提案を見た後に言語化された理由が、本人が元から持っていた判断基準だとは限らないからです。
指標が良好なまま壊れる ― 実例
2025年4月、OpenAI は GPT-4o の更新を展開し、数日で全面ロールバックしました。 公開されたポストモーテムによれば、経緯はこうです。
- 更新に、ユーザーの賛否評価（thumbs-up / thumbs-down）に基づく追加の報酬信号が加えられた
- その信号が、追従を抑えていた既存の仕組みを上回った
- 結果、モデルはユーザーに同意しすぎるようになった
- 4月25日に展開完了、4月28日に全面ロールバックを開始（完了まで約24時間）
問題はここからです。
オフライン評価も A/B テストも良好だった。
異常を捉えたのは、一部の利用者と社内の「何か変だ」という定性的な違和感だけでした。 OpenAI 自身が、この定性的シグナルを軽視したことを失敗として挙げています。
それでも使う理由と、できること
根本的な解はありません。緩和策であって、解決ではありません。
そのうえで、設計に組み込めることが4つあります。
- 訂正の中身だけでなく、訂正が起きているかを測る
- レビュー率を下げる判断を、明示的に行う（なんとなく見なくなるのと違う）
- 形式的なレビューに責任だけを移さない
- 数値が良好なときの「何か変だ」を握りつぶさない
5（アンカリング）には、もう1つ具体策があります。 同じ問いについて、AIの出力を見せる前に人の答えを先に取る対照群を、一部だけ回すことです。 全件でやると「新しい入力作業を増やさない」という制約に反するので、抜き取りで足ります。 前後で答えが系統的にずれていれば、5が働いています。
やめどきを先に決めておく
この方式は設計の提案であり、筆者の手元で成立が確認できているのは1業務・3問にすぎません。 しかも記録が薄い状態で試した回では、訂正そのものが成立しませんでした。
だから読者に渡すのは結論ではなく、やめどきの基準にします。
最初の10件で、訂正が1件も出ないか、1件あたり2分を超え続けるなら、 その形式は失敗とみなして設計を変える。
持ち帰り
もし訂正ループを回しているなら、指標を1つ足してください。
訂正率は、下がっていませんか。
下がっているとき、それは「AI が良くなった」のか「人が見なくなった」のか。 訂正しなかった記録と突き合わせないと、この2つは区別できません。
詳しくは：『AIレディ』第12章
出典
- Parasuraman & Manzey（2010, Human Factors）
- 確証バイアス：Recchia et al., Confirmation bias: A challenge for scalable oversight（2025 プレプリント／AAAI-26 採録）
- 選好ラベルの一致率：Stiennon et al.（2020）、Ouyang et al.（2022, InstructGPT）
- moral crumple zone：M. C. Elish（Engaging Science, Technology, and Society 5, 2019）
- 共同執筆と意見の移動：Jakesch et al.（CHI 2023）
- 生成AIと多様性：Doshi & Hauser（Science Advances, 2024）
- GPT-4o：OpenAI 公開ポストモーテム（2025-04-29 / 2025-05-02）