不具合票は、原因の仮説まで書いてから担当者に渡す
「動きません」とだけ書かれた不具合票は、担当者が再現から始めることになります。この記事では、AIが原因の仮説と修正案まで書く方法を書きます。
この記事の要点
- 「動きません」とだけ書かれた不具合票では、開発の担当者が、再現と原因の調査を最初から行います。
- AIが設計書とプログラムを読み、不具合票に、再現の手順と原因の仮説を書きます。影響する範囲と修正案も書きます。
- AIの仮説は、外れることがあります。仮説には根拠を引用させ、外れた割合を記録します。
結合テストで、不具合が1件見つかりました。不具合票には「出荷指示が登録できません」と書かれています。開発の担当者は、同じ現象を再現するのに半日かかりました。原因は、テストデータの得意先に、与信の限度額が設定されていないことでした。
問題は、原因がプログラム以外にあったことではありません。不具合票に、調査に必要な情報が書かれていなかったことです。
この記事では、不具合票に書く4つの項目と、AIが原因の仮説を作る方法を書きます。あわせて、仮説が外れた場合の扱いを書きます。
01修正の時間の多くは、再現と調査に使われている
現象だけを書いた不具合票
- 起票
- 質問
- 回答
- 再現
- 原因の調査
- 修正
再現の手順と、原因の仮説を書いた不具合票
- 起票
- 仮説の確認
- 修正
図で朱色の斜線を付けた段階は、質問・再現・調査の3つです。不具合票に必要な情報が書かれていれば、3つとも不要です。この3つの段階では、起票した人と開発の担当者の両方が待ちます。
開発の担当者は、不具合票を受け取ると、まず現象を再現しようとします。再現に必要な情報が無い場合、担当者は起票した人に質問します。起票した人が別のテストを実施している間、回答は来ません。
不具合の修正が遅い原因の多くは、修正が難しいことではありません。修正を始めるまでが長いことです。
02不具合票には、4つの項目を書く
開発の担当者が、質問をせずに調査を始められる不具合票には、4つの項目が必要です。
現象だけを書いた不具合票
「出荷指示が登録できません。」
使ったデータが分からない。
どの画面の、どの操作かが分からない。
4つの項目を書いた不具合票
- 再現の手順
- 得意先 C-1042 の受注から、出荷指示を登録する。保存の操作でエラーが出る
- 原因の仮説
- 得意先 C-1042 に、与信の限度額が設定されていない
- 仮説の根拠
- 設計書 D-047 の3章「限度額が未設定の場合は、エラーとする」
- 影響する範囲
- 限度額が未設定の得意先を使う、ほかの6件のテストケース
- 修正案
- テストデータの得意先に、限度額を設定する。プログラムは修正しない
番号と内容は説明のための例です。「仮説の根拠」は、原因の仮説に必ず添えます。根拠があると、開発の担当者は、仮説が正しいかを数分で確認できます。
4つの項目を、テストの担当者がすべて書くのは困難です。テストの担当者は、設計書とプログラムの中身を知らないからです。そこで、4つの項目の下書きを AI に書かせます。
03不具合票のすべてが、プログラムの誤りではない
AIに原因の仮説を書かせる前に、原因の種類を決めます。不具合票の原因は、プログラムの誤りだけではありません。
件数は説明のための例です。図で朱色にした4種類の原因は、プログラムを修正しても解決しません。修正する対象は、データ・テストケース・設計書・設定です。
原因の種類によって、修正する担当者が違います。プログラムの誤りは開発の担当者が修正します。テストデータの誤りは、テストの担当者が修正します。原因の種類が分からない不具合票は、すべて開発の担当者に渡されます。
AIには、原因の仮説と一緒に、原因の種類も書かせます。不具合票を、最初から正しい担当者に渡すためです。
04AIの仮説は外れる。根拠を引用させ、担当者が確認する
AIが書いた原因の仮説は、外れることがあります。そのため、仮説をそのまま事実として扱いません。次の4つのルールを、プロジェクトで決めます。
| 場面 | ルール |
|---|---|
| 仮説の書き方 | AIは、不具合票に「仮説」と明記する。「原因は〜である」と断定の形で書かない。 |
| 仮説の根拠 | AIは、設計書かプログラムの該当する箇所を引用する。引用できない仮説は、不具合票に書かない。 |
| 仮説の確認 | 開発の担当者が、根拠の箇所を読み、仮説が正しいかを確認する。確認の結果を、不具合票に記録する。 |
| 修正の実施 | AIは修正案を書くまで。プログラムとデータは、担当者が確認してから修正する。 |
AIが仮説を断定の形で書くと、開発の担当者は仮説を信じます。担当者は、確認せずに修正を始めます。仮説が外れていた場合、誤った修正が行われます。不具合票の項目の名前を「原因」ではなく「原因の仮説」にしてください。項目の名前を変えるだけで、担当者は確認してから修正するようになります。
05不具合票は、5つの手順で作る
- テストの担当者が、現象と使ったデータを記録する担当者は、テストケースの番号と、実際の結果を記録します。画面の画像も保存します。
- AIが、再現の手順を書くAIに、テストケースと画面の画像を読ませます。AIは、操作の順番と、入力した値を書きます。
- AIが、原因の仮説と根拠を書くAIに、設計書・プログラム・テストデータを読ませます。AIは、原因の種類と仮説を書き、根拠の箇所を引用します。
- AIが、影響する範囲と修正案を書くAIは、同じ原因で不合格になるテストケースを一覧にします。
- 担当者が、仮説を確認して修正する原因の種類に応じた担当者が、仮説を確認します。確認の結果を記録してから、修正します。
5つの手順のうち、最も効果が大きいのは4つ目です。同じ原因で不合格になるテストケースが分かると、テストの担当者は、同じ不具合票を何件も起票しなくて済みます。
06仮説が正しかった割合を記録し、AIに読ませる資料を見直す
割合は説明のための例です。この例では、原因を「設定の誤り」とした仮説だけ、正しかった割合が低くなっています。AIに、設定の一覧を読ませていないことが原因です。
開発の担当者が記録した確認の結果から、仮説が正しかった割合を計算します。割合は、原因の種類ごとに集計します。
割合が低い種類がある場合、AIの能力の問題ではありません。多くの場合、AIに読ませる資料が不足しています。たとえば、設定の誤りの仮説が外れる場合は、設定の一覧を AI に読ませます。
外れた仮説は、失敗ではありません。AIに読ませる資料のうち、何が不足しているかを示す記録です。
07明日は、直近の不具合票20件を読み直す
- 直近の不具合票を20件選ぶ。再現の手順と、使ったデータが書かれている不具合票の件数を数える。
- 20件それぞれについて、起票から、修正を始めるまでの日数を計算する。
- 20件のうち、原因がプログラムの誤りではなかった不具合票の件数を数える。
再現の手順が書かれている不具合票が半数に満たない場合、不具合票の様式を見直してください。再現の手順と、使ったデータを書く欄を追加します。
原因がプログラムの誤りではなかった不具合票が多い場合、原因の種類を書く欄を追加します。原因の種類が分かると、不具合票を最初から正しい担当者に渡せます。