AIの効果は「工数が何割減ったか」では測れない。記録に残る数字で、導入の前と後を比べる

「AIを使わなかった場合の工数」は、誰にも測れません。記録に残る数字を選び、導入の前と後を同じ方法で比べる方法と、経営への説明のしかたを書きます。

この記事の要点

  1. 「AIを使わなかった場合の工数」は、誰にも測れません。そのため、「工数が何割減った」という数字は、実績ではなく見積もりです。
  2. 測るのは、プロジェクトの記録に自然に残る数字です。導入の前と後を、同じ方法で数えて比べます。
  3. 経営には、測った数字と、工数の見込みを分けて説明します。見込みには、幅と前提を付けます。

経営会議で、情報システム部門の責任者が質問されました。「AIの導入で、工数は何割減ったのか」。責任者は「約3割です」と答えました。次の質問は「その3割は、どう測ったのか」でした。責任者は答えられませんでした。

答えられなかった理由は、準備の不足ではありません。「AIを使わなかった場合の工数」を、誰も測れないからです。同じプロジェクトを、AIを使う場合と使わない場合で2回行うことはできません。

この記事では、測れる数字の選び方と、導入の前と後の比べ方を書きます。あわせて、経営への説明のしかたを書きます。

01「何割減ったか」は、比べる相手が存在しない

図 1削減率を計算するには、測れない数字が必要になる
AIを使った場合の工数
実績として記録に残る
AIを使わなかった場合の工数
実施していないので、測れない

削減率=(使わなかった場合 − 使った場合)÷ 使わなかった場合使わなかった場合の工数が見積もりなので、削減率も見積もりになる

点線の棒は、誰かが見積もった数字です。見積もりを大きくすると、削減率も大きくなります。

多くの報告では、「使わなかった場合の工数」に、過去のプロジェクトの実績か、導入前の見積もりを使います。しかし、過去のプロジェクトとは、要件の数も体制も違います。導入前の見積もりは、見積もった人の判断で変わります。

削減率は、実績のように見えます。実際には、見積もりどうしを比べた数字です。

02削減率を約束すると、後で説明できなくなる

削減率を目標として約束すると、2つの問題が起きます。

03測るのは、プロジェクトの記録に自然に残る数字

測る数字は、次の2つの条件で選びます。1つ目は、報告のために新しく集計しなくても、記録から計算できることです。2つ目は、AIを導入する前にも、同じ方法で計算できることです。

図 2効果を測る5つの数字は、すべてプロジェクトの記録から計算できる
測る数字元になる記録分かること
決定から資料への反映までの日数会議の日付と、資料の更新日決定が、設計に使われるまでの速さ
点検した設計書の割合レビューと点検の記録点検されないまま次の工程に進む設計書の量
質問から回答までの日数チャットの投稿の日付回答を待って作業が止まる時間
人が直した箇所の数成果物の修正の履歴AIが作った成果物の品質
後の工程で見つかった不具合の数不具合の管理表前の工程の点検で、見つけられなかった誤りの量

5つとも、担当者が申告する数字ではありません。日付と件数から計算するので、数える人によって結果が変わりません。

5つの数字をすべて測る必要はありません。AIを導入する作業に合う数字を、2つか3つ選びます。たとえば、設計書の点検に導入する場合は、点検した設計書の割合と、後の工程で見つかった不具合の数を選びます。

04導入の前と後を、同じ方法で数えて比べる

比べる相手は、「AIを使わなかった場合」ではありません。AIを導入する前の、自分のプロジェクトです。導入する前の値は、実績として記録に残っています。

図 3導入の前と後を、同じ数え方で並べる(例)

決定から資料への反映までの日数

導入の前9営業日
導入の後2営業日

点検した設計書の割合

導入の前21%
導入の後100%

質問から回答までの日数

導入の前4.5営業日
導入の後1.5営業日

結合テストで見つかった不具合の数

導入の前機能あたり 5.9件
導入の後機能あたり 2.1件

数字は説明のための例です。「点検した設計書の割合」は、増えることが改善です。そのほかの数字は、値が減ることが改善です。

  1. 導入する前に、選んだ数字の今の値を計算する過去1〜2か月の記録から計算します。この値が、比べる基準になります。
  2. 数え方を、文書に書く使う記録と、使う日付を書きます。計算の方法も書きます。数える人が替わっても、同じ値になるようにします。
  3. 導入した後、毎月、同じ数え方で計算するAIに記録を読ませて計算させると、集計の作業が不要になります。
  4. 値が変わった理由を、1行で記録する理由は、AIの効果、体制の変更、工程の変化のどれかを書きます。
落とし穴

最も多い失敗は、導入する前の値を計算していないことです。導入した後に効果を質問されても、比べる基準がありません。AIを導入すると決めたら、最初に今の値を計算してください。導入した後では、過去の記録が残っていないことがあります。

05経営には、測った数字と、工数の見込みを分けて説明する

経営が工数を知りたいのは当然です。投資を判断するには、金額に換算した数字が必要だからです。工数の見込みを示すことは問題ありません。問題は、見込みを実績のように報告することです。

図 4経営への報告は、実績と見込みを分ける(例)
1 測った数字(実績)
  • 決定の反映 9 → 2営業日
  • 点検した設計書 21% → 100%
  • 結合テストの不具合 5.9 → 2.1件
2 工数の見込み(見積もり)

600 〜 900人日

前提:設計・開発・テストで、人の作業時間が2〜4割減る。最初の10本の実績が出たら、計算し直す。

3 次に確認すること

最初の10本について、機能ごとの工数の実績を記録する。見込みと比べる。

数字は説明のための例です。1は記録から計算した実績、2は前提を付けた見積もりです。同じ表に並べません。

場面説明のしかた
効果を質問されたとき削減率ではなく、導入の前と後の数字を並べて答える。数え方も伝える。
工数を質問されたとき1つの数字ではなく、幅で答える。幅の前提を1行で添える。
目標を求められたとき削減率を約束しない。測る数字と、目指す値を約束する。
減った時間の使い道を質問されたとき点検した本数や、検討した案の数など、増えた作業を数字で示す。

06測った数字を、担当者の評価に使わない

測る数字を決めるとき、情報システム部門の責任者は、数字の使い道も決めます。数字を担当者の評価に使うと、担当者は数字が良くなるように記録を書きます。たとえば、人が直した箇所の数を評価に使うと、担当者は直した記録を残さなくなります。

数字は、AIを導入した作業が改善したかどうかを確認するために使います。責任者は、この方針を、測り始める前に全員に伝えます。

07明日は、導入する前の値を3つ計算する

半日でできる、3つの確認
  1. AIを導入したい作業を1つ選ぶ。この記事の図2に挙げた5つの数字から、選んだ作業に合う数字を2つか3つ選ぶ。
  2. 選んだ数字について、元になる記録が残っているかを確認する。
  3. 過去1か月の記録から、今の値を計算する。数え方を文書に書く。

元になる記録が残っていない数字は、今は測れません。その場合は、先に記録を残すルールを決めてください。たとえば、会議の決定に日付を書く、レビューした設計書を一覧に記録する、というルールです。

導入する前の値が計算できれば、導入した後の説明は難しくありません。同じ数え方で計算した数字を、前の値の隣に並べます。