効果測定は、AI導入の設計に埋め込む ─ 後からでは測れない
効果測定は、AI導入の設計に埋め込む ─ 後からでは測れない
分析の腕の問題ではない
効果測定がうまくいかないとき、原因を分析の技術に求めがちだ。もっといい指標があるのではないか、集計の仕方が下手なのではないか、と。
たいていは違う。材料が残っていないだけだ。
導入前の作業時間を記録していなければ、どんな手法を使っても前後比較はできない。承認された時刻が残っていなければ、リードタイムは出せない。分析は、残っているものからしか始められない。
そして記録は、過去にさかのぼって作ることができない。ここが効果測定の一番きつい制約になっている。
だから測定は、導入が終わってから考えるものではなく、導入の設計に含めておくものだ。
始める前に決める、3つの問い
大がかりな仕組みはいらない。始める前に、この3つに答えを出しておく。
① 何を母集団にするか
「AIが処理できた件」を数えるのか、「対象業務に入ってきた全件」を数えるのか。
ここを曖昧にすると、第3回で見た歪みがそのまま入る。人に戻した件も母集団に含めると決めておけば、都合のいい数字にはならない。
② 何を1件と数えるか
書類1枚か、申請1件か、案件1本か。
複数の書類がまとまって1件になる業務では、数え方が変わるだけで件数が数倍変わる。導入後に定義を変えると、前後比較が成立しなくなる。最初に決めて、書き残しておく。
③ いつの時刻を残すか
起票・着手・承認・差し戻し・完了。このうちどこを記録するか。
すべてを残す必要はない。ボトルネックになりそうな区間の前後2点が取れれば、滞留は測れる。
最初の1日でできること
3つに答えたら、あとは動かしながら整える。初日にできるのは、この程度で十分だ。
- 導入前の2週間、対象業務の記録を取る ─ 開始と終了の時刻だけでいい。エクセルでも構わない
- すでに自動で残っている記録を探す ─ 更新履歴、送信ログ、チケットの状態変更。多くの場合、必要なものの半分はもう溜まっている
- 未完了の件数を、集計に並べる ─ 平均日数の隣に「未完了◯件」と書くだけで、楽観的な読み違いは減る
三つ目が、いちばん安く効く。分析手法を入れ替えるより先に、捨てているものを画面に出すほうが早い。
測る仕組みには、精度以外の役割がある
ここまで数字の正しさの話をしてきたが、測る仕組みには別の効き方もある。
議論の土俵が変わる。
数字がないと、第1回で見たとおり、印象の綱引きになる。声の大きさや立場で結論が決まる。数字があると、少なくとも「どの数字を見て、そう判断したのか」という話ができる。
そして、数字は反論の材料にもなる。「効果がなかった」と言われたときに、どの区間がどれだけ短くなったかを示せる。逆に、効いていなかったことが分かるなら、それも早いほうがいい。
効果測定は、成果を守るためではなく、判断を早く正しくするためにある。この順番を取り違えなければ、指標選びで迷うことはあまりない。
まとめ：3つの洞察
-
記録は、後から作れない
- 効果測定が詰まる原因は分析技術ではなく材料不足。導入前の数字も区間の時刻も、さかのぼって用意できない
-
始める前に3つだけ決める
- 何を母集団にするか、何を1件と数えるか、いつの時刻を残すか。この3つが決まっていれば、あとは動かしながら整えられる
-
測る仕組みは、判断を早く正しくするためにある
- 効いていないなら早く止めたほうがいい。成果を守るための道具にすると、指標選びを間違える
このシリーズを終えて
全5回を通して言いたかったことは、ひとつに絞れる。
AI導入の成否は、入れた後ではなく、測る準備をした時点でだいたい決まっている。
説明できない効果は、無かったことになる。前後比較には落とし穴があり、完了したものだけを数えれば実態より良く出る。そして多くの業務で本当に長いのは、作業時間ではなく待ち時間のほうだ。
どれも、始める前に手を打っておけば避けられる。一度目は熱意で通る。二度目は数字でしか通らない。その数字は、導入前の2週間に取った記録から生まれる。
💬 これから何かを導入するとして、始める前に何を記録しておきますか？コメントで教えてください。
