AIの効果は、どう測るか #22026-08-175分で読めます

「月20時間削減」が信じてもらえない理由 ─ 前後比較の落とし穴

効果測定・ AI導入・データ分析・業務改善・ KPI

数字を出したのに、空気が変わらない

効果を聞かれたので、今度はきちんと数字を用意する。「この業務で、月20時間の削減です」。

ところが、場の空気が変わらない。決裁者は頷きながら、こう言う。「それ、どうやって出した数字なの」。

ここで詰まる。答えられないわけではない。担当者に聞いて、感覚で足し合わせた数字だ。嘘ではない。でも、そう説明した瞬間に、数字は感想に戻ってしまう。

前後比較は、いちばん自然な測り方であると同時に、いちばん突っ込まれやすい測り方でもある。

前後比較には、当然ながら「前」がいる。

ところが多くの現場で、導入前の作業時間は記録されていない。誰も測っていなかったからだ。測る必要がなかったのだから、当たり前ではある。

すると何が起きるか。導入後に、記憶をたどって「前」を作ることになる。

「前はだいたい1件30分くらいでしたね」。この30分には、うまくいかなかった日の記憶も、例外処理に手こずった日の記憶も、たいてい入っていない。人は平均ではなく、典型例を思い出す。

しかも、導入を進めた本人が思い出す。悪気なく、改善幅は大きめに出る。

「前」の数字が残っていたとしても、まだ安心できない。

3月と8月では、扱う件数が違う。人員配置が違う。同じ時期に別の業務改善が走っていたかもしれない。組織変更で担当者が変わっていたかもしれない。

前後比較は「AIを入れた」以外の条件が同じであることを暗黙の前提にしている。ところが現実の職場で、条件が揃っている期間はほとんど無い。

だから決裁者の「本当にAIのおかげ？」という問いは、意地悪ではない。構造的に正しい疑問だ。

3つ目がいちばん根深い。

削減時間を答えるのは、たいていその業務の担当者だ。そして担当者は、導入がうまくいってほしいと思っている。あるいは逆に、自分の仕事が減ったと言いたくない事情があるかもしれない。

どちらに転んでも、申告する人の立場が数字に混ざる。

これは誠実さの問題ではない。「30分が10分になりました」と言うとき、その10分をストップウォッチで測った人は、まずいない。

3つとも、導入後に頑張っても直らない。直せるのは、始める前だけだ。

やることは3つに絞れる。

3つ目が特に効く。人に聞いて集める数字は立場が混ざるが、操作した瞬間に自動で残る記録には、立場が混ざらない。

ここまでは「測り方が甘い」という話だった。次回はもっと厄介な話をする。

きちんと集計したつもりでも、集計の作り方そのものが数字を良く見せてしまうことがある。しかも、いちばん注意して見るべき場所ほど、楽観的に見える。実データで確かめた結果を紹介する。

💬 あなたの職場で、人が申告しなくても自動で残っている記録は何かありますか？コメントで教えてください。