不具合票は、原因の仮説まで書いてから担当者に渡す

「動きません」とだけ書かれた不具合票は、担当者が再現から始めることになります。この記事では、AIが原因の仮説と修正案まで書く方法を書きます。

この記事の要点

  1. 「動きません」とだけ書かれた不具合票では、開発の担当者が、再現と原因の調査を最初から行います。
  2. AIが設計書とプログラムを読み、不具合票に、再現の手順と原因の仮説を書きます。影響する範囲と修正案も書きます。
  3. AIの仮説は、外れることがあります。仮説には根拠を引用させ、外れた割合を記録します。

結合テストで、不具合が1件見つかりました。不具合票には「出荷指示が登録できません」と書かれています。開発の担当者は、同じ現象を再現するのに半日かかりました。原因は、テストデータの得意先に、与信の限度額が設定されていないことでした。

問題は、原因がプログラム以外にあったことではありません。不具合票に、調査に必要な情報が書かれていなかったことです。

この記事では、不具合票に書く4つの項目と、AIが原因の仮説を作る方法を書きます。あわせて、仮説が外れた場合の扱いを書きます。

01修正の時間の多くは、再現と調査に使われている

図 1現象だけの不具合票は、起票の後に質問と再現が続く。仮説のある不具合票は、確認から始まる

現象だけを書いた不具合票

  1. 起票
  2. 質問
  3. 回答
  4. 再現
  5. 原因の調査
  6. 修正

再現の手順と、原因の仮説を書いた不具合票

  1. 起票
  2. 仮説の確認
  3. 修正

図で朱色の斜線を付けた段階は、質問・再現・調査の3つです。不具合票に必要な情報が書かれていれば、3つとも不要です。この3つの段階では、起票した人と開発の担当者の両方が待ちます。

開発の担当者は、不具合票を受け取ると、まず現象を再現しようとします。再現に必要な情報が無い場合、担当者は起票した人に質問します。起票した人が別のテストを実施している間、回答は来ません。

不具合の修正が遅い原因の多くは、修正が難しいことではありません。修正を始めるまでが長いことです。

02不具合票には、4つの項目を書く

開発の担当者が、質問をせずに調査を始められる不具合票には、4つの項目が必要です。

図 2現象だけの不具合票では調査を始められない。4つの項目があると、確認から始められる

現象だけを書いた不具合票

「出荷指示が登録できません。」

使ったデータが分からない。
どの画面の、どの操作かが分からない。

4つの項目を書いた不具合票

再現の手順
得意先 C-1042 の受注から、出荷指示を登録する。保存の操作でエラーが出る
原因の仮説
得意先 C-1042 に、与信の限度額が設定されていない
仮説の根拠
設計書 D-047 の3章「限度額が未設定の場合は、エラーとする」
影響する範囲
限度額が未設定の得意先を使う、ほかの6件のテストケース
修正案
テストデータの得意先に、限度額を設定する。プログラムは修正しない

番号と内容は説明のための例です。「仮説の根拠」は、原因の仮説に必ず添えます。根拠があると、開発の担当者は、仮説が正しいかを数分で確認できます。

4つの項目を、テストの担当者がすべて書くのは困難です。テストの担当者は、設計書とプログラムの中身を知らないからです。そこで、4つの項目の下書きを AI に書かせます。

03不具合票のすべてが、プログラムの誤りではない

AIに原因の仮説を書かせる前に、原因の種類を決めます。不具合票の原因は、プログラムの誤りだけではありません。

図 3不具合票40件のうち、原因がプログラムの誤りだったのは16件(例)
プログラムの誤り
16件
テストデータの誤り
9件
期待値の誤り
6件
設計書の誤り
5件
設定の誤り
4件

件数は説明のための例です。図で朱色にした4種類の原因は、プログラムを修正しても解決しません。修正する対象は、データ・テストケース・設計書・設定です。

原因の種類によって、修正する担当者が違います。プログラムの誤りは開発の担当者が修正します。テストデータの誤りは、テストの担当者が修正します。原因の種類が分からない不具合票は、すべて開発の担当者に渡されます。

AIには、原因の仮説と一緒に、原因の種類も書かせます。不具合票を、最初から正しい担当者に渡すためです。

04AIの仮説は外れる。根拠を引用させ、担当者が確認する

AIが書いた原因の仮説は、外れることがあります。そのため、仮説をそのまま事実として扱いません。次の4つのルールを、プロジェクトで決めます。

場面ルール
仮説の書き方AIは、不具合票に「仮説」と明記する。「原因は〜である」と断定の形で書かない。
仮説の根拠AIは、設計書かプログラムの該当する箇所を引用する。引用できない仮説は、不具合票に書かない。
仮説の確認開発の担当者が、根拠の箇所を読み、仮説が正しいかを確認する。確認の結果を、不具合票に記録する。
修正の実施AIは修正案を書くまで。プログラムとデータは、担当者が確認してから修正する。
落とし穴

AIが仮説を断定の形で書くと、開発の担当者は仮説を信じます。担当者は、確認せずに修正を始めます。仮説が外れていた場合、誤った修正が行われます。不具合票の項目の名前を「原因」ではなく「原因の仮説」にしてください。項目の名前を変えるだけで、担当者は確認してから修正するようになります。

05不具合票は、5つの手順で作る

  1. テストの担当者が、現象と使ったデータを記録する担当者は、テストケースの番号と、実際の結果を記録します。画面の画像も保存します。
  2. AIが、再現の手順を書くAIに、テストケースと画面の画像を読ませます。AIは、操作の順番と、入力した値を書きます。
  3. AIが、原因の仮説と根拠を書くAIに、設計書・プログラム・テストデータを読ませます。AIは、原因の種類と仮説を書き、根拠の箇所を引用します。
  4. AIが、影響する範囲と修正案を書くAIは、同じ原因で不合格になるテストケースを一覧にします。
  5. 担当者が、仮説を確認して修正する原因の種類に応じた担当者が、仮説を確認します。確認の結果を記録してから、修正します。

5つの手順のうち、最も効果が大きいのは4つ目です。同じ原因で不合格になるテストケースが分かると、テストの担当者は、同じ不具合票を何件も起票しなくて済みます。

06仮説が正しかった割合を記録し、AIに読ませる資料を見直す

図 4仮説が正しかった割合は、原因の種類によって違う。低い種類は、AIに読ませる資料が不足している(例)
プログラムの誤り
81%
テストデータの誤り
78%
期待値の誤り
67%
設計書の誤り
60%
設定の誤り
25%

割合は説明のための例です。この例では、原因を「設定の誤り」とした仮説だけ、正しかった割合が低くなっています。AIに、設定の一覧を読ませていないことが原因です。

開発の担当者が記録した確認の結果から、仮説が正しかった割合を計算します。割合は、原因の種類ごとに集計します。

割合が低い種類がある場合、AIの能力の問題ではありません。多くの場合、AIに読ませる資料が不足しています。たとえば、設定の誤りの仮説が外れる場合は、設定の一覧を AI に読ませます。

外れた仮説は、失敗ではありません。AIに読ませる資料のうち、何が不足しているかを示す記録です。

07明日は、直近の不具合票20件を読み直す

半日でできる、3つの確認
  1. 直近の不具合票を20件選ぶ。再現の手順と、使ったデータが書かれている不具合票の件数を数える。
  2. 20件それぞれについて、起票から、修正を始めるまでの日数を計算する。
  3. 20件のうち、原因がプログラムの誤りではなかった不具合票の件数を数える。

再現の手順が書かれている不具合票が半数に満たない場合、不具合票の様式を見直してください。再現の手順と、使ったデータを書く欄を追加します。

原因がプログラムの誤りではなかった不具合票が多い場合、原因の種類を書く欄を追加します。原因の種類が分かると、不具合票を最初から正しい担当者に渡せます。