AIの効果は「工数が何割減ったか」では測れない。記録に残る数字で、導入の前と後を比べる
「AIを使わなかった場合の工数」は、誰にも測れません。記録に残る数字を選び、導入の前と後を同じ方法で比べる方法と、経営への説明のしかたを書きます。
この記事の要点
- 「AIを使わなかった場合の工数」は、誰にも測れません。そのため、「工数が何割減った」という数字は、実績ではなく見積もりです。
- 測るのは、プロジェクトの記録に自然に残る数字です。導入の前と後を、同じ方法で数えて比べます。
- 経営には、測った数字と、工数の見込みを分けて説明します。見込みには、幅と前提を付けます。
経営会議で、情報システム部門の責任者が質問されました。「AIの導入で、工数は何割減ったのか」。責任者は「約3割です」と答えました。次の質問は「その3割は、どう測ったのか」でした。責任者は答えられませんでした。
答えられなかった理由は、準備の不足ではありません。「AIを使わなかった場合の工数」を、誰も測れないからです。同じプロジェクトを、AIを使う場合と使わない場合で2回行うことはできません。
この記事では、測れる数字の選び方と、導入の前と後の比べ方を書きます。あわせて、経営への説明のしかたを書きます。
01「何割減ったか」は、比べる相手が存在しない
削減率=(使わなかった場合 − 使った場合)÷ 使わなかった場合使わなかった場合の工数が見積もりなので、削減率も見積もりになる
点線の棒は、誰かが見積もった数字です。見積もりを大きくすると、削減率も大きくなります。
多くの報告では、「使わなかった場合の工数」に、過去のプロジェクトの実績か、導入前の見積もりを使います。しかし、過去のプロジェクトとは、要件の数も体制も違います。導入前の見積もりは、見積もった人の判断で変わります。
削減率は、実績のように見えます。実際には、見積もりどうしを比べた数字です。
02削減率を約束すると、後で説明できなくなる
削減率を目標として約束すると、2つの問題が起きます。
- 達成したかどうかを、誰も確認できない。「3割減った」と報告しても、根拠を質問されると答えられません。「減っていない」と指摘されても、反論できません。
- 減った時間の使い道が、見えなくなる。AIで作成の時間が減っても、担当者はその時間を点検や検討に使います。工数の合計は、あまり変わらないことがあります。削減率だけを見ると、品質が上がった効果を説明できません。
03測るのは、プロジェクトの記録に自然に残る数字
測る数字は、次の2つの条件で選びます。1つ目は、報告のために新しく集計しなくても、記録から計算できることです。2つ目は、AIを導入する前にも、同じ方法で計算できることです。
| 測る数字 | 元になる記録 | 分かること |
|---|---|---|
| 決定から資料への反映までの日数 | 会議の日付と、資料の更新日 | 決定が、設計に使われるまでの速さ |
| 点検した設計書の割合 | レビューと点検の記録 | 点検されないまま次の工程に進む設計書の量 |
| 質問から回答までの日数 | チャットの投稿の日付 | 回答を待って作業が止まる時間 |
| 人が直した箇所の数 | 成果物の修正の履歴 | AIが作った成果物の品質 |
| 後の工程で見つかった不具合の数 | 不具合の管理表 | 前の工程の点検で、見つけられなかった誤りの量 |
5つとも、担当者が申告する数字ではありません。日付と件数から計算するので、数える人によって結果が変わりません。
5つの数字をすべて測る必要はありません。AIを導入する作業に合う数字を、2つか3つ選びます。たとえば、設計書の点検に導入する場合は、点検した設計書の割合と、後の工程で見つかった不具合の数を選びます。
04導入の前と後を、同じ方法で数えて比べる
比べる相手は、「AIを使わなかった場合」ではありません。AIを導入する前の、自分のプロジェクトです。導入する前の値は、実績として記録に残っています。
決定から資料への反映までの日数
点検した設計書の割合
質問から回答までの日数
結合テストで見つかった不具合の数
数字は説明のための例です。「点検した設計書の割合」は、増えることが改善です。そのほかの数字は、値が減ることが改善です。
- 導入する前に、選んだ数字の今の値を計算する過去1〜2か月の記録から計算します。この値が、比べる基準になります。
- 数え方を、文書に書く使う記録と、使う日付を書きます。計算の方法も書きます。数える人が替わっても、同じ値になるようにします。
- 導入した後、毎月、同じ数え方で計算するAIに記録を読ませて計算させると、集計の作業が不要になります。
- 値が変わった理由を、1行で記録する理由は、AIの効果、体制の変更、工程の変化のどれかを書きます。
最も多い失敗は、導入する前の値を計算していないことです。導入した後に効果を質問されても、比べる基準がありません。AIを導入すると決めたら、最初に今の値を計算してください。導入した後では、過去の記録が残っていないことがあります。
05経営には、測った数字と、工数の見込みを分けて説明する
経営が工数を知りたいのは当然です。投資を判断するには、金額に換算した数字が必要だからです。工数の見込みを示すことは問題ありません。問題は、見込みを実績のように報告することです。
- 決定の反映 9 → 2営業日
- 点検した設計書 21% → 100%
- 結合テストの不具合 5.9 → 2.1件
600 〜 900人日
前提:設計・開発・テストで、人の作業時間が2〜4割減る。最初の10本の実績が出たら、計算し直す。
最初の10本について、機能ごとの工数の実績を記録する。見込みと比べる。
数字は説明のための例です。1は記録から計算した実績、2は前提を付けた見積もりです。同じ表に並べません。
| 場面 | 説明のしかた |
|---|---|
| 効果を質問されたとき | 削減率ではなく、導入の前と後の数字を並べて答える。数え方も伝える。 |
| 工数を質問されたとき | 1つの数字ではなく、幅で答える。幅の前提を1行で添える。 |
| 目標を求められたとき | 削減率を約束しない。測る数字と、目指す値を約束する。 |
| 減った時間の使い道を質問されたとき | 点検した本数や、検討した案の数など、増えた作業を数字で示す。 |
06測った数字を、担当者の評価に使わない
測る数字を決めるとき、情報システム部門の責任者は、数字の使い道も決めます。数字を担当者の評価に使うと、担当者は数字が良くなるように記録を書きます。たとえば、人が直した箇所の数を評価に使うと、担当者は直した記録を残さなくなります。
数字は、AIを導入した作業が改善したかどうかを確認するために使います。責任者は、この方針を、測り始める前に全員に伝えます。
07明日は、導入する前の値を3つ計算する
- AIを導入したい作業を1つ選ぶ。この記事の図2に挙げた5つの数字から、選んだ作業に合う数字を2つか3つ選ぶ。
- 選んだ数字について、元になる記録が残っているかを確認する。
- 過去1か月の記録から、今の値を計算する。数え方を文書に書く。
元になる記録が残っていない数字は、今は測れません。その場合は、先に記録を残すルールを決めてください。たとえば、会議の決定に日付を書く、レビューした設計書を一覧に記録する、というルールです。
導入する前の値が計算できれば、導入した後の説明は難しくありません。同じ数え方で計算した数字を、前の値の隣に並べます。