完了したものだけ数えると、実態より良く見える ─ 5万件で確かめた集計の罠
完了したものだけ数えると、実態より良く見える ─ 5万件で確かめた集計の罠
平均日数を出すとき、何を外しているか
「この工程は、平均で何日かかっていますか」
こう聞かれたとき、多くの現場が同じ手順を踏む。完了した案件を集めて、かかった日数を平均する。まだ終わっていないものは、日数が確定していないので集計から外す。
外す理由には筋が通っている。終わっていないものの所要日数は、計算できない。
でも、ここで外されたものが何かを考えてほしい。まだ終わっていない案件とは、いま最も難航している案件だ。
順調なものから先に終わる。詰まったものが残る。つまり集計から抜けるのは、ランダムな一部ではなく、悪いほうに偏った一部だ。
残ったものだけを見ると、何が起きるか
結果として、集計に残るのは「うまくいった案件」に寄る。
平均日数は短く出る。進捗は良く見える。そして厄介なことに、この歪みは詰まっている工程ほど大きくなる。詰まる工程には未完了が溜まるので、集計から抜ける量が増えるからだ。
最も注意して見るべき工程が、最も楽観的に見える。
実データで確かめると、どうだったか
これは理屈の話で終わらせられる。実際に検証した。
通信インフラ設備の案件データ、5万件超。未完了を捨てずに扱う方法で推定し直し、現行の集計方式と比べた。結果は中央値でこうなった。
- 起点から完了まで → 現行方式より 24%長い
- 起点から中間承認まで（詰まっている工程） → 現行方式より 51%長い
つまり現行の集計は、実態より24%良い数字を出していた。そして予想どおり、詰まっている工程のほうが乖離が大きかった。
（出典：自社によるデータ解析。通信インフラ設備の案件データ5万件超。守秘のため、業種と規模の粒度に留める）
正直に書いておくと、この24%という数字は他社にそのまま当てはまるものではない。特定の1データセットの結果だし、難航案件ほど未完了で残る性質があるので、補正後の推定でもなお甘い側に出ている可能性が高い。24%は下限に近い数字だと考えている。
一般化できるのは数字ではなく、構造のほうだ。
- 完了したものだけで測れば、実態より良く出る
- 詰まっている工程ほど、乖離が大きい
これは集計方法から必然的に生じるので、業種を問わず成立する。
AIの効果測定でも、同じことが起きる
ここからが本題だ。この構造は、AI導入の効果を測るときにそのまま現れる。
AIに書類の読み取りをやらせたとする。効果を出すために、処理できた件数と処理時間を集計する。
このとき、AIが処理できずに人へ戻した件は、どこに行っただろうか。
多くの場合、集計に入らない。エラーになったもの、判断がつかずに保留になったもの、途中で人が引き取ったもの。これらは「AIの処理実績」として残らない。
残るのは、AIがうまく処理できた件だけだ。当然、精度も速度も良く出る。
そして現場は、その数字に違和感を持つ。厄介な案件を引き取っているのは現場だからだ。報告の数字と現場の実感がずれるのは、たいていここが原因になっている。
前回の落とし穴が「測り方が甘い」話だったのに対し、これはきちんと集計しているのに歪む話だ。だから気づきにくい。
未完了は、欠損ではなく情報
対処の方向ははっきりしている。未完了を捨てないことだ。
「まだ終わっていない」という状態そのものが、その案件について何かを語っている。日数が確定していないから使えない、ではなく、確定していないという事実を情報として扱う。
これは新しい発想ではない。医学の生存時間分析では、まだ亡くなっていない患者のデータを捨てずに扱う手法が確立している。Kaplan-Meier 推定はその代表で、未完了を情報として使ったまま到達時間の分布を出せる。
そこまで踏み込まなくても、最初の一手はもっと簡単でいい。
集計に「未完了が何件あるか」を並べて書く。 それだけで、平均日数だけを見て安心する事故は防げる。
まとめ：3つの洞察
-
集計から抜けるのは、最も難航しているもの
- 順調なものから終わり、詰まったものが残る。外れるのはランダムな一部ではなく、悪いほうに偏った一部
-
実データでも構造どおりに出た
- 通信インフラ設備の案件5万件超で、完了案件のみの集計は実態より24%良い数字。詰まっている工程では51%。一般化できるのは数字ではなく構造
-
AIの効果測定でも同じことが起きる
- 人へ戻した件は実績に残らない。残るのはうまく処理できた件だけ。報告の数字と現場の実感がずれる原因はここにある
次回予告
ここまで所要時間の測り方を見てきたが、そもそも時間の何を測るかという問題がある。
作業そのものにかかっている時間は、実は思ったほど長くない。多くの業務で長いのは、待っている時間のほうだ。次回は、削減した時間ではなく止まっていた時間を測る話をする。
💬 あなたの職場の集計で、途中で止まったまま数えられていないものはありますか？コメントで教えてください。
