人間の補完7項目
「人が黙って補っている3割」は、漠然としたものではありません。 現場で観察すると、7つの型に分かれます。
7つ
1. 書かれていないことを周辺から補う 症状:判断が色・書式に乗っている。「黄色は保留、赤字は要対応」の対応表がどこにもない 埋め方:判断を列にする
2. 空欄の意味を読み分ける 症状:空欄が1種類しかない。「未着手」も「対象外」も「担当者が休みで未記入」も同じ空欄 埋め方:欠損を4種に分ける(未到達/対象外/未記入/未取得)
3. 例外を覚えている 症状:マニュアルにない運用が回っている。「あの取引先だけ締めが違う」がどこにも書かれていない 埋め方:例外を条件として1枚に書き出す
4. 口頭で埋める 症状:決定の理由が残らない。議事録に決定事項はあるが、なぜそう決めたかがない 埋め方:決定・理由・決裁者の3行を残す
5. 終わったものだけで報告する 症状:未完了・中止が集計から抜ける 埋め方:母集団に残す
6. 最新の状態だけ見る 症状:上書きで手戻りが消える。差し戻しで日付を書き換えるので、ループの事実が残らない 埋め方:状態ではなくイベントで持つ
7. 気づいたら黙って直す 症状:データ品質の問題が表面化しない。下流の担当者が毎回手で直している 埋め方:修正を記録する(誰が・何を・なぜ)
2 の4分類だけ、補足します
空欄を1種類にしたまま平均で埋めると、業務定義が壊れます。
- 未到達:まだその工程に来ていない
- 対象外:この案件では発生しない
- 未記入:通過したが、記入されていない
- 未取得:そもそも取得していない項目
この4つは、下流でまったく違う扱いになります。 なお、これは調査法の分野で structurally missing / item nonresponse / 非収集 として整理されているものとおおむね対応します。 統計学の MCAR/MAR/MNAR(欠測のメカニズム)とは切り口が違うので、混同しないでください。
5 が最も見落とされる
集計から抜けるのは、最も難航している案件です。 難航しているから、終わっていない。だから数字は構造的に良く出ます。
最も注意して見るべき対象が、最も楽観的に見えている。
ただし、これは「誰も言っていない」わけではありません。 データ品質の分野では population completeness(必要なインスタンスが母集団に揃っているか)として、 標準的な次元の1つに数えられています。生存者バイアスとしても古くから知られています。
言われていないのは、AI に業務を任せる話をするときに、これが最初に来るという一点です。
7 の副産物
人が直した差分は、そのまま AI の教師データになります。 同時に、上流の欠陥リストにもなります。
「うちのデータは特に問題ない」と認識されているのに、 実際には下流の担当者が毎回手で直している——という状態は、かなり広く見られます。 問題が上に上がらないので、改善の意思決定が起きません。
3・4・6 は、すでに他社が扱っている
正直に書いておきます。
- 3・4 → tribal knowledge として語られ、専用のツールや事業者が存在する
- 6 → process mining として確立している。event sourcing / bitemporal database も同じ問題を扱う
- 7 → invisible work(CSCW, 1990年代〜)と workarounds の研究がある
そこは戦わずに接続します。
持ち帰り
7つのうち、心当たりのある1つを選んでください。
全部やろうとすると、記録の手間で現場が潰れます。 1つ直して、数字で示す。それが通れば次が通ります。
そして選ぶなら 5 を勧めます。理由は次回書きます。
詳しくは:『AIレディ』第6章
出典
- population completeness:Pipino, Lee & Wang(CACM, 2002)
- invisible work:Star & Strauss(CSCW 8, 1999)
- 欠測の分類:調査法における structurally missing / item nonresponse / unit nonresponse